云服务器配置vpn

从零开始搭建我们的Spark平台

1、准备centeros环境

为了搭建一个真正的的集群环境，并且要做到高可用的架构，我们至少准备三个虚拟机来作为集群节点。因此我购买了三台阿里云的服务器，来作为我们的集群节点。

注意到，master是主节点，而slave顾名思义就是奴隶，自然就是为主节点工作的节点。实际上，在我们这个集群中，master和slave并没有那么明确的区分，因为事实上他们都在努力地工作。当然在搭建集群的时候，我们依然要明确这个概念。

2、下载jdk

1、下载jdk1.8 tar.gz包wget https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz2、解压tar-zxvfjdk-8u201-linux-x64.tar.gz

解压之后得到

3、配置环境变量

修改profile

vi/etc/profile

添加如下

云服务器做网页

exportJAVA_HOME=/usr/local/java1.8/jdk1.8.0_201exportJRE_HOME=${JAVA_HOME}/jreexportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexportPATH=${JAVA_HOME}/bin:$PATH

source使其生效

source/etc/profile

查看是否生效

java-version

看到如图内容表示已经成功。

以上操作三台虚拟机一模一样！ 以上操作三台虚拟机一模一样！ 以上操作三台虚拟机一模一样！

3、安装zookeeper

下载zookeeper包wgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz解压tar-zxvfzookeeper-3.4.13.tar.gz 进入zookeeper配置目录cdzookeeper-3.4.13/conf拷贝配置文件模板cpzoo_sample.cfgzoo.cfg 拷贝后修改zoo.cfg内容dataDir=/home/hadoop/data/zkdatadataLogDir=/home/hadoop/log/zklogserver.1=master:2888:3888server.2=slave1:2888:3888 配置环境变量exportZOOKEEPER_HOME=/usr/local/zookeeper/zookeeper-3.4.13exportPATH=$PATH:$ZOOKEEPER_HOME/bin使环境变量生效source/etc/profile注意到前面配置文件中这句话，配置了数据目录dataDir=/home/hadoop/data/zkdata我们手动创建该目录，并且进入到其中cd/home/hadoop/data/zkdata/echo3 > myid这里需要特别注意这个echo1 > myid这是对于这个配置，因此在master中我们echo 1，而对于slave1则是 echo 2，对于slave2则是 echo 3server.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888 配置完启动测试zkServer.shstart 启动后查看是否启动成功zkServer.shstatus 以上操作三台虚拟机都要进行！只有echo不一样 以上操作三台虚拟机都要进行！只有echo不一样 以上操作三台虚拟机都要进行！只有echo不一样在master中启动后查看状态在salve1中启动后查看状态

这里面的Mode是不一样的，这是zookeeper的选举机制，至于该机制如何运行，这里按下不表。后续会有专门说明。 至此，zookeeper集群已经搭建完成

4、安装hadoop

1、通过wget下载hadoop-2.7.7.tar.gzwgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz2、下载后解压

解压出一个hadoop-2.7.7目录

tar-zxvfhadoop-2.7.7 3、配置hadoop环境变量

修改profile

vi/etc/profile增加hadoop环境变量exportHADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:使环境变量生效source/etc/profile配置完之后，查看是否生效hadoopversion进入hadoop-2.7.7/etc/hadoop中编辑core-site.xmlvicore-site.xml增加configuration<configuration><property><name>fs.defaultFS