- 浏览: 83454 次
- 性别:
- 来自: 郑州
文章分类
- 全部博客 (69)
- java (28)
- linux (6)
- redis (4)
- C# (3)
- 架构 (10)
- java ee (1)
- web (1)
- 操作系统 (7)
- sqlserver (1)
- android (2)
- Hadoop (12)
- 大数据 (21)
- 分布式 事务 消息 (10)
- linux mysql (1)
- 数据库 (3)
- 关于hadoop之bootshell使用 (2)
- 关于hbase---HTableInterfaceFactory (1)
- Spring (3)
- Hbase (5)
- jstorm (10)
- nginx (1)
- 分布式 (1)
- 区块链 (3)
- dubbo (1)
- nacos (1)
- 阿里 (1)
- go (3)
- 缓存 (1)
- memcached (1)
- ssdb (1)
- 源码 (1)
最新评论
-
想个可以用的名字:
楼主,能不能给发一份源代码,1300246542@qqq.co ...
spring+websocket的使用 -
wahahachuang5:
web实时推送技术使用越来越广泛,但是自己开发又太麻烦了,我觉 ...
websocket -
dalan_123:
前提是你用的是spring mvc 才需要加的1、在web.x ...
spring+websocket的使用 -
string2020:
CharacterEncodingFilter这个filter ...
spring+websocket的使用
centos6.6安装hadoop2.6.1操作步骤 大致如下
1.安装JDK
1.1下载上传
jdk-7u79-linux-i586.rpm
1.2安装
rpm -ivh jdk-7u79-linux-i586.rpm
1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.设置系统环境
2.1修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast01 ###
2.2修改主机名和IP的映射关系
vim /etc/hosts
XXX.XXX.X.XXX itcast01
2.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.4重启Linux
reboot
3.安装hadoop2.6.1
1,下载Hadoop2.6
2,解压安装
1),复制 hadoop-2.6.1.tar.gz 到/root/hadoop目录下,
然后#tar -xzvf hadoop-2.6.1.tar.gz 解压,解压后目录为:/root/hadoop/hadoop-2.6.1
2),在/root /hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name
3),设置环境变量,#vi ~/.bash_profile
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export HADOOP_HOME=/hadoop01/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
-----------------------------------------------------------------------
Hadoop配置
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
1)配置hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.6.0_45
2)配置yarn-env.sh
#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.6.0_45
3)配置core-site.xml
添加如下配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml
添加如下配置
<configuration>
<!—hdfs-site.xml-->
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml
添加如下配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml
添加如下配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动
1)格式化namenode
$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
4.配置ssh免登陆
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行: ssh-copy-id -i /root/.ssh/id_rsa.pub root@10.18.12.22
4)再输入22机器上的root密码
-------------------------------------------
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
5、打开yarn管理页面
在浏览器中输入:http://hostname:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里面改成8099
1.安装JDK
1.1下载上传
jdk-7u79-linux-i586.rpm
1.2安装
rpm -ivh jdk-7u79-linux-i586.rpm
1.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.设置系统环境
2.1修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast01 ###
2.2修改主机名和IP的映射关系
vim /etc/hosts
XXX.XXX.X.XXX itcast01
2.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.4重启Linux
reboot
3.安装hadoop2.6.1
1,下载Hadoop2.6
2,解压安装
1),复制 hadoop-2.6.1.tar.gz 到/root/hadoop目录下,
然后#tar -xzvf hadoop-2.6.1.tar.gz 解压,解压后目录为:/root/hadoop/hadoop-2.6.1
2),在/root /hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令
#mkdir /root/hadoop/tmp
#mkdir /root/hadoop/hdfs
#mkdir /root/hadoop/hdfs/data
#mkdir /root/hadoop/hdfs/name
3),设置环境变量,#vi ~/.bash_profile
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export HADOOP_HOME=/hadoop01/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
-----------------------------------------------------------------------
Hadoop配置
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下:
hadoop-2.6.0/etc/hadoop/hadoop-env.sh
hadoop-2.6.0/etc/hadoop/yarn-env.sh
hadoop-2.6.0/etc/hadoop/core-site.xml
hadoop-2.6.0/etc/hadoop/hdfs-site.xml
hadoop-2.6.0/etc/hadoop/mapred-site.xml
hadoop-2.6.0/etc/hadoop/yarn-site.xml
1)配置hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.6.0_45
2)配置yarn-env.sh
#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.6.0_45
3)配置core-site.xml
添加如下配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml
添加如下配置
<configuration>
<!—hdfs-site.xml-->
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml
添加如下配置:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml
添加如下配置:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动
1)格式化namenode
$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
5,启动验证
1)执行jps命令,有如下进程,说明Hadoop正常启动
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
4.配置ssh免登陆
1)运行:ssh-keygen -t rsa
2)然后拍两下回车(均选择默认)
3)运行: ssh-copy-id -i /root/.ssh/id_rsa.pub root@10.18.12.22
4)再输入22机器上的root密码
-------------------------------------------
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。
5、打开yarn管理页面
在浏览器中输入:http://hostname:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里面改成8099
发表评论
-
jstorm源码之TransactionalState
2016-03-21 19:31 838一、作用 主要是通过结合zookeeper,在zookee ... -
jstorm源码之RotatingTransactionalState
2016-03-21 19:29 523一、作用 构建一个Rotationg transacti ... -
jstorm源码之PartitionedTridentSpoutExecutor
2016-03-21 19:28 841一、作用 Partition Spout对应的exec ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:28 0一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之RotatingMap
2016-03-21 19:27 828一、作用 基于LinkedList + HashM ... -
jstorm源码之 RichSpoutBatchExecutor
2016-03-21 19:24 560一、作用 RichSpoutBatchExecutor是IRi ... -
jstorm源码之TridentTopology
2016-03-16 18:12 2311在jstorm中对应TridentTopology的源码如下, ... -
jstorm操作命令
2016-03-15 18:04 2677启动ZOOPKEEPER zkServer.sh start ... -
JStorm之Supervisor简介
2016-03-15 18:02 1173一、简介Supervisor是JStorm中的工作节点,类似 ... -
JStorm介绍
2016-03-15 17:56 872一、简介Storm是开源的 ... -
nginx tcp的使用
2015-12-24 12:39 681安装说明 系统环境:CentOS-6.7 软件:nginx-1 ... -
jstorm安装
2015-12-03 19:43 1684关于jstorm单机安装可以 ... -
spring hadoop系列(六)---HbaseSystemException
2015-11-30 09:13 405一、源码 /** * HBase Data Access e ... -
spring hadoop系列(五)---spring hadoop hbase之HbaseSynchronizationManager
2015-11-27 18:16 837一、源码如下 /** * Synchronization m ... -
spring hadoop 系列(三)--spring hadoop hbase HbaseConfigurationFactoryBean
2015-11-27 16:28 1494一、源码分析 /** * 设定Hbase指定Configu ... -
spring hadoop 系列(二)
2015-11-27 15:26 553一、源码分析 /** * * HbaseAccesso ... -
spring hadoop之batch处理(二)
2015-11-24 18:10 1462一、测试 public class MrBatchApp { ... -
spring hadoop之mapreduce batch
2015-11-24 15:51 577一、测试 // 定义hadoop configuration ... -
centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8
2015-11-09 00:37 2263一、安装JAVA # 创建JAVA的目录 mkdir -p / ... -
了解 Nginx 的 7 个原因(转)
2015-11-08 21:13 523Nginx (“engine x”)是一个 ...
相关推荐
hadoop-2.6.1-src.tar源码包,欢迎下载,hadoop-2.6.1-src.tar源码包,欢迎下载
编译的eclipse hadoop 2.6.1插件
win7编译过的hadoo2.6.1包括hadoop.dll和winutils.exe,解压后即可使用
内附hadoop的详细安装步骤,亲测可用
windows平台.eclipse的hadoop2.6.1插件 jdk1.6编译的. hadoop是安装包是32位的
hadoop-2.6.1.tar.gz
window X64平台下hadoop编译包,window X64平台下hadoop编译包
由于大小限制,将一个文件拆分成四个文件,将hadoop-2.6.1.zip解压后,将001.zip,002.zip,003.zip三个文件解压到hadoop-2.6.1\share\hadoop目录下
hadoop-2.6.1.rar hadoop-2.6.1源码编译win7编译 hadoop-2.6.1源码编译win7编译
windows下建立hadoop环境时,在bin文件夹下需要添加的依赖文件
安装Hadoop(单机版和集群)详细步骤
Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程
大数据组件 详细安装步骤(linux配置 hadoop集群搭建 hive flume kafka spark zk 搭建安装)
Could not locate executabl ....\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries,本地环境缺失winutil.exe,请下载后配置环境变量
Hadoop安装教程_单机_伪分布式配置
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
3.配置%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd文件中JAVA_HOME为本地jdk安装路径 4.重启电脑 ------------------------- 本分卷由2345好压(Haozip)生成,请使用2345好压来解压。 2345好压下载地址:...
hadoop的单机伪分布安装笔记,使用虚拟机方式、端口转发、搭建hadoop的单机环境。学习hadoop的入门文档之一。