服务器技术

 首页 > 服务器技术 > Linux > Ubuntu10.4安装配置Hadoop-0.20.203.0入门 - Linux操作系统

Ubuntu10.4安装配置Hadoop-0.20.203.0入门 - Linux操作系统

分享到:
【字体:
导读:
          1.安装Sun公司的jdk1.6 并且,JAVA_HOME环境变量已经指向jdk的安装目录。(详细见 Ubuntu10.4下手动安装SUN公司的jdk1.6[整理])2.下载稳定版的hadoop的安装包,解压到/opt/目录下3.命令行下运行...

1.安装Sun公司的jdk1.6 并且,JAVA_HOME环境变量已经指向jdk的安装目录。(详细见   Ubuntu10.4下手动安装SUN公司的jdk1.6[整理])
2.下载稳定版的hadoop的安装包,解压到/opt/目录下
3.命令行下运行 
$ sudo gedit /etc/profile在文件最后添加
#set Hadoop environment
export HADOOP_INSTALL=/opt/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin设置Hadoop的安装位置的环境变量
4.运行hadoop version 命令来测试是否成功
5.配置:
   1)独立模式:
      在此模式下,不需要特别的配置操作,只需要在/conf目录中的hadoop-env.sh中设置java jdk的HAVA_HOME环境变量
   2)伪分布式模式:
      自此模式下,需要配置3个配置文件(在conf/目录下的core-site.xml  hdfs-site.xml mapred-site.xml)
       


  
      fs.default.name
      hdfs://localhost/
  



    
        dfs.replication
        1
    



   
       mapred.job.tracker
       localhost:8021
   


 
 
6.配置SSH www.2cto.com
%sudo apt-get install ssh
   基于空口令创建一个新的SSH密钥,以启动无密码登录
%ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
%cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    用以下指令测试:
%ssh localhost
    如果成功,则无须输入密码。
7.启动和终止守护进程
%start-dfs.sh
%start-mapred.sh
  本地计算机将启动三个守护进程 一个namenode 一个辅助namenode和一个datanode
  在http://localhost:50030/查看jobtracker或在http://localhost:50070/查看namenode  java的jps命令也可以查看守护进程是否在运行。
%stop-dfs.sh
%stop-mapred.sh
8.格式化HDFS文件系统:
 %hadoop namenode -format、


摘自 怪蜀黍的博客
      上一篇:linux kill用法、killall、pkill、xkill - Linux操作系统: 下一篇:红旗Linux桌面4.0最详细安装图解(3) - Linux操作系统
    分享到:
    Linux开发中的常用命令 - Linux操作系统...
    文章来源:中关村在线基本操作命令: ---------------------------------------------------------------------- ---------------------------------------------------------------------- ls #以默认方式显示当前目录文件列表 ls –a #显示所有文件包括隐藏文件 ls –l #显示文件属性,包括大小,日期,符号连接,是否可读...
    linux kill用法、killall、pkill、xkill ...
    一. 终止进程的工具kill 、killall、pkill、xkill   终止一个进程或终止一个正在运行的程序,一般是通过kill 、killall、pkill、xkill 等进行。比如一个程序已经死掉,但又不能退出,这时就应该考虑应用这些工具。   另外应用的场合就是在服务器管理中,在不涉及数据库服务器程序的父进程的停止运行,也可以用这些工...
    •         php迷,一个php技术的分享社区,专属您自己的技术摘抄本、收藏夹。
    • 在这里……