Hadoop 에러 정리

하둡을 실습하며 발생하는 에러에 대해 정리해보고자 한다. 

계속해서 추가해볼 생각이다.

 

1. 클러스터를 실행했는데, Datanode 가 실행되지 않을때

 

클러스터를 실행했는데 Datanode 만 실행되지 않는다면 네임노드 ID와 데이터노드 ID가 불일치할 확률이 높다.

해결방법은 데이터 디렉토리를 삭제하거나 dfs/name/current/VERSION과 dfs/data/current/VERSION 을 일치시키는 것이다.

 

나는 데이터 손실에 신경쓸 필요가 없어 데이터 디렉토리를 삭제하여 해결했다.

rm -r /home/user/hadoop/dfs/data/*

 

종료 후, 클러스터를 재실행하면 Datanode 가 실행되는 것을 확인할 수 있다.

 

 

2. Mysql, MariaDB 접속에러 (SQL Error code : 1045)

 

hive 메타스토어를 초기화하자 해당 에러가 발생했다.

 

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
Underlying cause: java.sql.SQLException : Access denied for user 'hive'@'localhost' (using password: YES)
SQL Error code: 1045

 

이는 hive-site.xml 에 입력된 ID, PW 가 mysql 에 접속할 수 없다는 내용이다. 이를 해결하기 위해 mysql 과 hive-site.xml 에서의 ID, PW를 일치시킬 필요가 있다.

 

CREATE DATABASE hive;

# 아이디 및 비밀번호 hive로 설정
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

# 모든 권한 부여
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' WITH GRANT OPTION;

# 권한 즉시 적용
FLUSH PRIVILEGES;

 

mysql 에 접속하여 위 코드를 입력해서 권한을 부여받은 계정을 만들어 hive-site.xml 과 통일시키자!!!