task tracker 의 작업이 끝나고 수행되는 spill file merging 작업이 길어지는 경우 task timeout 이 발생할 수 있다. 
단순히 task timeout 시간을 늘려줄 수도 있지만(mapred.task.timeout) 이 경우 다른 문제로 인해 발생하는 timeout 의 detection 이 늦어질 수 있으므로 권장되지 않는다. 
mapred.merge.recordsBeforeProgress 는 merging 과정에 주기적으로 progress 를 호출하게 하여 위와 같은 문제를 해결하는 옵션으로, 디폴트로 10000개의 record 가 merge 될때 마다 한번씩 progress 가 호출된다. 
이 게시물을..