티스토리 뷰
Single Node Mode란?
- 하둡 테스트를 편하게 하기 위해서 하나의 컴퓨터에서만 하둡을 돌리는 모드
설치 환경
- Ubuntu 11.10
자바 설치하기
$ sudo add-apt-repository ppa:ferramroberto/java
$ sudo apt-get update
$ sudo apt-get install sun-java6-jdk
- 자바 설치 확인
$ java -version
java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) Server VM (build 20.1-b02, mixed mode)
- 환경설정
$ gedit ~/.profile
export JAVA_HOME="/usr/lib/jvm/java-6-sun" 추가
SSH 설치
$ sudo apt-get install ssh
$ sudo apt-get install rsync
하둡 설치
- 하둡 다운로드 및 압축 해제
/usr/local 에 설치하도록 합시다~
$ cd /usr/local
$ wget http://mirror.apache-kr.org//hadoop/common/hadoop-1.0.0/hadoop-1.0.0.tar.gz$ tar xvfz hadoop-1.0.0.tar.gz
유저 폴더로 이동 ( 사용자 폴더에 설치해도 되지만 나중에 클러스터링 하기 위해 유저폴더에 설치 )
/usr/local/hadoop-1.0.0 에 설치합시다!$ cd hadoop-1.0.0/$ sudo cp -r * /usr/local$ rm -r ../hadoop-1.0.0- 설치 확인
$ hadoop version
Hadoop 1.0.0
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1214675
Compiled by hortonfo on Thu Dec 15 16:36:35 UTC 2011
- JAVA_HOME 환경변수를 설정 안했으면 아래와 같이 설정하면 제대로 버전 정보가 나온다
$ export JAVA_HOME=/usr/lib/jvm/java-6-sun
하둡 환경설정 변경
hadoop-env.sh 설정
$ cd /usr/local/hadoop-1.0.0/conf
$ gedit hadoop-env.sh
- export JAVA_HOME=/usr/lib/jvm/java-6-sun 설정
core-site.xml 설정
$ gedit core-site.xml 아래로 설정
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml 설정
$ gedit hdfs-site.xml 아래로 설정
<configuration><property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml 설정
$ gedit mapred-site.xml 아래로 설정
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
SSH 설정
- 하둡에서 원격 클러스터끼리 SSH를 이용해 통신하는데 통신하는 데 매번 비밀번호를 묻지 않도록 자동으로 인증되도록 하는것이 편리
- 하둡을 /usr/local 경로에 설치했으므로 root 권한을 얻어서 아래를 실행 링크
$ ssh-keyge 링크 n -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
하둡 실행
- root로 로그인
$ su
- namenode 포맷 후 데몬 실행
$ hadoop namenode -format
$ start-all.sh
모니터링 툴로 동작 확인 가능
- NameNode : http://localhost:50070/
- JobTracker : http://localhost:50030/
하둡 실행 중지
$ stop-all.sh
** 2012.02.11 /usr 에 하둡을 설치하던 것을 /usr/local 에 설치하도록 변경
이 글은 스프링노트에서 작성되었습니다.
'[Cloud] > [Hadoop]' 카테고리의 다른 글
Hadoop 1.0.0 을 리눅스 파일시스템에 마운트 하기 (1) | 2012.02.09 |
---|