티스토리 뷰

  • Single Node Mode란?

    • 하둡 테스트를 편하게 하기 위해서 하나의 컴퓨터에서만 하둡을 돌리는 모드
  • 설치 환경

    • Ubuntu 11.10
  • 자바 설치하기


    • $ sudo add-apt-repository ppa:ferramroberto/java

      $ sudo apt-get update

      $ sudo apt-get install sun-java6-jdk

    • 자바 설치 확인
    •  

      $ java -version

      java version "1.6.0_26"

      Java(TM) SE Runtime Environment (build 1.6.0_26-b03)

      Java HotSpot(TM) Server VM (build 20.1-b02, mixed mode)

    • 환경설정

    • $ gedit ~/.profile

      export JAVA_HOME="/usr/lib/jvm/java-6-sun" 추가

  • SSH 설치

    •  

      $ sudo apt-get install ssh

      $ sudo apt-get install rsync

  • 하둡 설치

    • 하둡 다운로드 및 압축 해제
    • /usr/local 에 설치하도록 합시다~

       $  cd /usr/local
      $ wget http://mirror.apache-kr.org//hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz

      $ tar xvfz hadoop-1.0.0.tar.gz 


    • 유저 폴더로 이동 ( 사용자 폴더에 설치해도 되지만 나중에 클러스터링 하기 위해 유저폴더에 설치 )
      /usr/local/hadoop-1.0.0 에 설치합시다!
    • $ cd hadoop-1.0.0/

      $ sudo cp -r * /usr/local

      $ rm -r ../hadoop-1.0.0

    • 설치 확인
    •   $ hadoop version

      Hadoop 1.0.0

      Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1214675

      Compiled by hortonfo on Thu Dec 15 16:36:35 UTC 2011

    • JAVA_HOME 환경변수를 설정 안했으면 아래와 같이 설정하면 제대로 버전 정보가 나온다

    •   $ export JAVA_HOME=/usr/lib/jvm/java-6-sun

       

  • 하둡 환경설정 변경

    • hadoop-env.sh 설정

      •  

          $ cd /usr/local/hadoop-1.0.0/conf

        $ gedit hadoop-env.sh 

      • export JAVA_HOME=/usr/lib/jvm/java-6-sun 설정
    • core-site.xml 설정

      •  

          $ gedit core-site.xml
      • 아래로 설정

        <configuration>

             <property>

                 <name>fs.default.name</name>

                 <value>hdfs://localhost:9000</value>

             </property>

        </configuration>

         

    • hdfs-site.xml 설정

      •  

          $ gedit hdfs-site.xml
      • 아래로 설정
        <configuration>

            <property>

                 <name>dfs.replication</name>

                 <value>1</value>

             </property>

        </configuration>

    • mapred-site.xml 설정

      •  

          $ gedit mapred-site.xml
      • 아래로 설정

        <configuration>

             <property>

                 <name>mapred.job.tracker</name>

                 <value>localhost:9001</value>

             </property>

        </configuration>

 

  • SSH 설정

    • 하둡에서 원격 클러스터끼리 SSH를 이용해 통신하는데 통신하는 데 매번 비밀번호를 묻지 않도록 자동으로 인증되도록 하는것이 편리
    • 하둡을 /usr/local 경로에 설치했으므로 root 권한을 얻어서 아래를 실행 링크

    •   $ ssh-keyge 링크 n -t dsa -P '' -f ~/.ssh/id_dsa

      $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

  • 하둡 실행

 

  • 하둡 실행 중지


    •   $ stop-all.sh

 

 

 

 

 

 

 

 ** 2012.02.11 /usr 에 하둡을 설치하던 것을 /usr/local 에 설치하도록 변경

이 글은 스프링노트에서 작성되었습니다.

'[Cloud] > [Hadoop]' 카테고리의 다른 글

Hadoop 1.0.0 을 리눅스 파일시스템에 마운트 하기  (1) 2012.02.09
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
more
«   2024/03   »
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
글 보관함