java.io.IOException: Another Balancer is running.. Exiting ...
재수행 시 위와 같은 오류가 나면서 수행이 안되는 케이스.
$ hdfs dfs -ls /system/balancer.id
-rw-r--r-- 3 hdfs 25 2023-04-02 20:04 /system/balancer.id
$ hdfs dfs -cat /system/balancer.id
cat: Cannot obtain block length for LocatedBlock{BP-1946097349-123-1529396520190:blk_1153064940_79324378; getBlockSize()=25; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[...,DS-d0922db6-402b-4472-a854-80bb1be12ab0,DISK], DatanodeInfoWithStorage[..,DS-4fb18b79-97cb-437c-bedd-bc7769651239,DISK], DatanodeInfoWithStorage[..,DS-62e61676-2195-43c4-9c55-4a7f356080a4,DISK]]}
# 해당 파일 제거
$ hdfs dfs -rm -skipTrash /system/balancer.id
Deleted /system/balancer.id
기존에 돌던게 있는 경우인데, /system/balancer.id
지우고 재수행
'Data > Big Data' 카테고리의 다른 글
[Hadoop] HDFS missing block error 해결 (0) | 2023.04.07 |
---|---|
배치 파이프라인 도입을 위한 Workflow 리서치 (Airflow VS Azkaban VS Oozie) (1) | 2020.06.29 |
댓글