Hadoop Ecosystem (6) 썸네일형 리스트형 Apache Hive 실습(WSL2 Ubuntu 환경) Hive 설치가 안된 분들은 이전 포스팅 참조https://kind-door.tistory.com/30 Apache Hive 설치(WSL2 Ubuntu 환경)Hive 실습에 앞서 Hadoop과 Mysql 설치가 필요 (설치하지 않았다면 이전 포스팅 참조)https://kind-door.tistory.com/31 Mysql 설치 (WSL2 Ubuntu 환경)Hive를 위해 WSL 환경에서 Mysql 설치 1. 설치sudo apt-get updatesudo apkind-door.tistory.com 데이터베이스 생성 및 조회, 입력 등 간단한 쿼리를 실습해보자 1. 테이블 생성# dept 테이블 생성 CREATE TABLE dept ( deptno INT, dname STRING, .. Apache Hive 설치(WSL2 Ubuntu 환경) Hive 실습에 앞서 Hadoop과 Mysql 설치가 필요 (설치하지 않았다면 이전 포스팅 참조)https://kind-door.tistory.com/31 Mysql 설치 (WSL2 Ubuntu 환경)Hive를 위해 WSL 환경에서 Mysql 설치 1. 설치sudo apt-get updatesudo apt-get install mysql-server 2. 실행# 서비스 시작sudo systemctl start mysql# 서비스 상태 확인sudo systemctl status mysql# 서비스 중지sudo systemctl stopkind-door.tistory.comhttps://kind-door.tistory.com/26 Hadoop 설치하기 (WSL2 Ubuntu 환경)최근 채용공고를 보면 데.. Apache Spark 설치 및 실습 맵리듀스 실습에 이어 Apache Spark 실습을 해보자! (WSL2 환경)https://kind-door.tistory.com/27 Hadoop 맵리듀스 실습하기맵리듀스를 python으로 구현해보자 1. mapper, reducer 실행 파일 생성# mapreduce 폴더 생성cd $HADOOP_HOMEmkdir mapreduce# mapper.py 파일 생성 및 수정cd mapreducegedit mapper.py# reducer.py 파일 생성 및 수정gedit reducer.pykind-door.tistory.com 1. Apache Spark 설치# Spark 다운로드wget https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoo.. Hadoop 에러 정리 하둡을 실습하며 발생하는 에러에 대해 정리해보고자 한다. 계속해서 추가해볼 생각이다. 1. 클러스터를 실행했는데, Datanode 가 실행되지 않을때 클러스터를 실행했는데 Datanode 만 실행되지 않는다면 네임노드 ID와 데이터노드 ID가 불일치할 확률이 높다.해결방법은 데이터 디렉토리를 삭제하거나 dfs/name/current/VERSION과 dfs/data/current/VERSION 을 일치시키는 것이다. 나는 데이터 손실에 신경쓸 필요가 없어 데이터 디렉토리를 삭제하여 해결했다.rm -r /home/user/hadoop/dfs/data/* 종료 후, 클러스터를 재실행하면 Datanode 가 실행되는 것을 확인할 수 있다. 2. Mysql, MariaDB 접속에러 (SQL Error code .. Hadoop 맵리듀스 실습하기 https://kind-door.tistory.com/26 Hadoop 설치하기 (WSL2 Ubuntu 환경)최근 채용공고를 보면 데이터 쪽에서 온프레스미 or 클라우드(AWS) 지식을 요구하는 경우가 많은데 비용적 측면을 고려해 하둡을 공부하기로 다짐했다. 클라우드 인스턴스 관리를 제대로 못해 30kind-door.tistory.com맵리듀스 실습에 앞서 하둡이 설치되지 않았다면 이전 포스팅을 참조 1. mapper, reducer 실행 파일 생성# mapreduce 폴더 생성cd $HADOOP_HOMEmkdir mapreduce# mapper.py 파일 생성 및 수정cd mapreducegedit mapper.py# reducer.py 파일 생성 및 수정gedit reducer.py 1) map.. Hadoop 설치하기 (WSL2 Ubuntu 환경) 최근 채용공고를 보면 데이터 쪽에서 온프레스미 or 클라우드(AWS) 지식을 요구하는 경우가 많은데 비용적 측면을 고려해 하둡을 공부하기로 다짐했다. 클라우드 인스턴스 관리를 제대로 못해 30만원을 허공으로 날린 PDSD가 올 것 같기도 하고... Hadoop 이란?? 하둡은 대량의 데이터, 자료를 처리할 수 있도록 클러스터에서 동작하는 분산 프로그램을 지원하는 자바 소프트웨어 프레임워크이다. Hadoop 설치 환경OS : Windows 10 + WSL2 Ubuntu 22.04Hadoop version : 3.3.2 https://learn.microsoft.com/ko-kr/windows/wsl/install-manual 이전 버전 WSL의 수동 설치 단계wsl install 명령을 사용하지 않고.. 이전 1 다음
