hadoop snappy
페이지 정보
작성자 조희승 댓글 0건 조회 11,275회 작성일 13-09-10 19:12본문
------------------
쉬운방법
apt-get install libsnappy1
cd hadoopdir/lib/native/Linux-amd64-64
ln -s /usr/lib/libsnappy.so libsnappy.so
위의 일을 반드시 모든 slave에서 해주어야함
------------------
스내피는 구글에서 자체 개발한 압축 라이브러리이며,
최고의 압축률 보다는 적정 수준의 압축률을 제공하면서 빠르게 압축하고 해제하는 것을 목표로 합니다.
또한 초당 250MB 정도를 압축하고, 다른 압축에 비해 CPU 자원도 덜 소모합니다.
아래 주소가 스내피의 공식 홈피이며, 여기서 간단한 소개문서와 라이브러리를 다운 받으실 수 있습니다.
설치는 다음과 같이 진행하시면 되며, 일반적인 tar 패키지처럼 매우 쉽게 할 수 있습니다. ^^
2. Tar 파일을 리눅스에 업로드 (wget으로 다운받았다면 Skip)
3. root 계정으로 스내피 설치
A. tar -xvf snappy-1.0.5.tar.gz
B. ./configure --enable-shared
C. make
D. make install
4. 네이티브 스내피 라이브러리를 하둡으로 복사
A. cp /usr/local/lib/libsnappy.* 하둡홈/lib/native/Linux-amd64-64
B. cp /usr/local/iib/libsnappy*.* 하둡홈/lib/native/Linux-i386-32
스내피 설치 후 하둡을 재시작하고 맵리듀스 잡을 실행하면, 스내피 관련 로그가 다음과 같이 변경될 것을 확인할 수 있습니다.
12/04/10 13:34:39 INFO input.FileInputFormat: Total input paths to process : 1
12/04/10 13:34:39 WARN snappy.LoadSnappy: Snappy native library is available
12/04/10 13:34:39 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/04/10 13:34:39 INFO snappy.LoadSnappy: Snappy native library loaded
12/04/10 13:34:40 INFO mapred.JobClient: Running job: job_201204101328_0001
댓글목록
등록된 댓글이 없습니다.