Hadoop
-
[빅데이터 전문가의 하둡관리] 1. 하둡 소개 및 하둡의 주변 환경Software Development/Big Data 2022. 8. 20. 18:15
http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9788931555752 빅데이터 전문가의 하둡 관리 - 교보문고 스파크 얀 HDFS 관리, 튜닝 및 보안 비법 대공개! | 빅데이터 전문가의 하둡 관리 데이터 양이 많은 페이스북같은 기업에서 서버의 트래픽이 몰리지 않고 사용자가 빠른 피드백을 받도록 하려면? www.kyobobook.co.kr 위 책의 내용을 읽으며 공부한 내용을 요약 및 정리한 글입니다. 자세한 내용은 위 책에서 알 수 있습니다. 하둡과 하둡의 생태계에 대한 개요 하둡은 빅데이터를 다루기 위해 만들어졌다. 하둡은 대부분 리눅스에서 운영된다. 하둡은 직접 설치 또는 특정 회사의 하둡 배포판을..
-
Hadoop WordCount 소스 코드 레벨에서 살펴보기Software Development/Big Data 2020. 7. 1. 13:08
코드출처: https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html import java.io.IOException; // 예외처리 import java.util.StringTokenizer; //스트링 토큰 처리기 import org.apache.hadoop.conf.Configuration; // 하둡 구성 정보 import org.apache.hadoop.fs.Path; // 파일 시스템 경로 import org.apache.hadoop.io.IntWritable; // 정수형 쓰기 가능 데이터 삽입 import org.apache.hadoop.io.T..
-
hadoop wordcount 예제 eclilpse maven build 시 발생하는 오류Software Development/Big Data 2020. 7. 1. 12:33
우선 maven build 전 maven clean을 해주셔야 합니다. 플젝 우클릭 'Run As' 에 Maven clean을 클릭하시면 됩니다. 그리고 maven build를 했지만 아래와 같은 에러를 만났습니다. No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format : or :[:]:. Available lifecycle phases are: validate, initialize, generate-sources, process-sources, generate-resources, process-resources, compile, process-classes, g..