분류 전체보기 (35) 썸네일형 리스트형 Apache Hive 설치(WSL2 Ubuntu 환경) Hive 실습에 앞서 Hadoop과 Mysql 설치가 필요 (설치하지 않았다면 이전 포스팅 참조)https://kind-door.tistory.com/31 Mysql 설치 (WSL2 Ubuntu 환경)Hive를 위해 WSL 환경에서 Mysql 설치 1. 설치sudo apt-get updatesudo apt-get install mysql-server 2. 실행# 서비스 시작sudo systemctl start mysql# 서비스 상태 확인sudo systemctl status mysql# 서비스 중지sudo systemctl stopkind-door.tistory.comhttps://kind-door.tistory.com/26 Hadoop 설치하기 (WSL2 Ubuntu 환경)최근 채용공고를 보면 데.. Apache Spark 설치 및 실습 맵리듀스 실습에 이어 Apache Spark 실습을 해보자! (WSL2 환경)https://kind-door.tistory.com/27 Hadoop 맵리듀스 실습하기맵리듀스를 python으로 구현해보자 1. mapper, reducer 실행 파일 생성# mapreduce 폴더 생성cd $HADOOP_HOMEmkdir mapreduce# mapper.py 파일 생성 및 수정cd mapreducegedit mapper.py# reducer.py 파일 생성 및 수정gedit reducer.pykind-door.tistory.com 1. Apache Spark 설치# Spark 다운로드wget https://dlcdn.apache.org/spark/spark-3.5.1/spark-3.5.1-bin-hadoo.. Hadoop 에러 정리 하둡을 실습하며 발생하는 에러에 대해 정리해보고자 한다. 계속해서 추가해볼 생각이다. 1. 클러스터를 실행했는데, Datanode 가 실행되지 않을때 클러스터를 실행했는데 Datanode 만 실행되지 않는다면 네임노드 ID와 데이터노드 ID가 불일치할 확률이 높다.해결방법은 데이터 디렉토리를 삭제하거나 dfs/name/current/VERSION과 dfs/data/current/VERSION 을 일치시키는 것이다. 나는 데이터 손실에 신경쓸 필요가 없어 데이터 디렉토리를 삭제하여 해결했다.rm -r /home/user/hadoop/dfs/data/* 종료 후, 클러스터를 재실행하면 Datanode 가 실행되는 것을 확인할 수 있다. 2. Mysql, MariaDB 접속에러 (SQL Error code .. Hadoop 맵리듀스 실습하기 https://kind-door.tistory.com/26 Hadoop 설치하기 (WSL2 Ubuntu 환경)최근 채용공고를 보면 데이터 쪽에서 온프레스미 or 클라우드(AWS) 지식을 요구하는 경우가 많은데 비용적 측면을 고려해 하둡을 공부하기로 다짐했다. 클라우드 인스턴스 관리를 제대로 못해 30kind-door.tistory.com맵리듀스 실습에 앞서 하둡이 설치되지 않았다면 이전 포스팅을 참조 1. mapper, reducer 실행 파일 생성# mapreduce 폴더 생성cd $HADOOP_HOMEmkdir mapreduce# mapper.py 파일 생성 및 수정cd mapreducegedit mapper.py# reducer.py 파일 생성 및 수정gedit reducer.py 1) map.. Hadoop 설치하기 (WSL2 Ubuntu 환경) 최근 채용공고를 보면 데이터 쪽에서 온프레스미 or 클라우드(AWS) 지식을 요구하는 경우가 많은데 비용적 측면을 고려해 하둡을 공부하기로 다짐했다. 클라우드 인스턴스 관리를 제대로 못해 30만원을 허공으로 날린 PDSD가 올 것 같기도 하고... Hadoop 이란?? 하둡은 대량의 데이터, 자료를 처리할 수 있도록 클러스터에서 동작하는 분산 프로그램을 지원하는 자바 소프트웨어 프레임워크이다. Hadoop 설치 환경OS : Windows 10 + WSL2 Ubuntu 22.04Hadoop version : 3.3.2 https://learn.microsoft.com/ko-kr/windows/wsl/install-manual 이전 버전 WSL의 수동 설치 단계wsl install 명령을 사용하지 않고.. [ 이것이 코딩 테스트다 ] 3-1. DFS/BFS (자료구조 기초) 탐색많은 데이터 중에서 원하는 데이터를 찾는 과정, 자료구조 안에서 탐색 ex) DFS, BF자료구조데이터를 표현, 관리, 처리하기 위한 구조 ex) 스택, 큐 가장 대표 탐색 알고리즘인 DFS와 BFS 원리를 이해하기 위해서는 기본 자료구조에 대한 이해가 필요하므로 기초 자료구조에 대해 학습해보자. 스택(Stack)스택은 박스 쌓기에 비유할 수 있다. 박스는 아래에서부터 위로 차곡차곡 쌓고 치우기 위해서는 위에 있는 박스를 먼저 내려야 한다. 즉, 선입후출 구조를 가지고 있다.stack = []# 삽입(5) - 삽입(2) - 삽입(3) - 삽입(7) - 삭제() - 삽입(1) - 삽입(4) - 삭제()stack.append(5)stack.append(2)stack.append(3)stack.ap.. [ 이것이 코딩 테스트다 ] 2. 구현 구현머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정 이 단원에서 완전탐색, 시뮬레이션 유형을 다루고 있다.완전탐색 : 모든 경우의 수를 주저 없이 다 계산하는 해결 방법시뮬레이션 : 문제에서 제시한 알고리즘을 한 단계씩 차례대로 직접 수행 문제 1. 상하좌우여행가 N * N 크기의 정사각형 공간 위에 서 있다. 이 공간은 1 * 1 크기의 정사각형으로 나누어져 있다.가장 왼쪽 위 좌표는 (1,1) 이며, 가장 오른쪽 아래 좌표는 (N,N) 이다. ( 시작좌표는 (1,1) 이다 )상하좌우로 한칸씩 움직이며 정사각형 공간을 벗어나는 움직임은 무시된다.L : 왼쪽 / R : 오른쪽 / U : 위쪽 / D : 아래쪽 한 칸 이동n = int(input())x, y = 1, 1plans = input()... [ 이것이 코딩 테스트다 ] 1. 그리디 알고리즘 그리디(Greedy) , 탐욕법현재상황에서 지금 당장 좋은 것만 고르는 방법매 순간 가장 좋아 보이는 것을 선택하며, 현재 선택이 나중에 미칠 영향을 고려하지 않음 출제방식그리디 알고리즘은 "기준"에 따라 좋은 것을 선택하므로 문제에서'가장 큰 순서대로', '가장 작은 순서대로' 와 같은 기준을 알게 모르게 제시해준다.대체로 그리디 알고리즘 문제는 자주 정렬 알고리즘과 짝을 이뤄 출제된다. 그리디 알고리즘의 정당성대부분의 문제는 그리디 알고리즘을 이용했을 때 '최적의 해'를 찾을 수 없기에 모든 알고리즘 문제에 적용할 수 없다. 거스름돈 문제(문제1)를 그리디 알고리즘으로 해결할 수 있는 이유는 "가지고 있는 동전 중에서 큰 단위가 항상 작은 단위의 배수이므로 작은 단위의 동전들을 종합해 다른 해가 .. 이전 1 2 3 4 5 다음
