한빛출판네트워크

Hadoop 완벽 가이드 : 클라우드 컴퓨팅 구축을 위한 실전 안내서의 기획/편집을 담당하신 IT 전문서팀 최과장님께서 설명하는 하둡책! 동영상으로 살펴 보세요. 이전에 한빛 블로그에 포스팅했던 하둡(Hadoop) - 다음 컴퓨팅 시대를 위한 그 뜨거움!이란 글도 하둡을 이해하는 데 도움이 될 것 같습니다.



하둡 창시자의 추천사

하둡(Hadoop)은 너치(Nutch, 오픈 소스 검색 엔진)에서 시작되었다. 우리 중 일부는 오픈 소스 웹 검색 엔진(open source web search engine)을 구축하려고 시도했는데, 소수 컴퓨터에서 연산할 때조차 문제가 발생했다. 그 해법은 구글(Google)이 GFS와 맵리듀스(MapReduce)에 관한 문서를 공개하는 즉시 명확해졌다. 구글은 너치의 문제를 정확히 해결할 만한 시스템을 고안해 냈다. 그래서 개발 도중에 우리 중 두 명은 이 시스템을 너치의 일부로서 다시 구성하기 시작했다.

우리는 20대의 컴퓨터에서 너치가 힘을 발휘하지 못하는 문제를 그럭저럭 해결해 나갔지만, 곧이어 대규모 웹 문제를 위해서는 수천 대의 컴퓨터에서 운용할 필요가 있다고 판단하였고, 두 명의 개발자가 다루기에는 훨씬 더 큰 문제임이 분명해 졌다.

그 무렵, 야후(Yahoo!)에서는 이에 대해 흥미를 느끼고 있었고, 재빨리 내가 속한 팀을 합류시켰다. 그 후, 우리는 너치의 분산 처리 파트로부터 분리되었고, 그것을 하둡이라 칭하였다. 야후의 도움으로, 하둡은 곧 진정으로 웹에 적용할 만한 기술로 성장했다.

2006년 들어, 톰 화잇이 하둡에 공헌하기 시작했다. 나는 이미 그가 썼던 너치에 관한 훌륭한 기사를 통해 그를 알고 있었기 때문에 복잡한 아이디어를 명료한 글로 제시해 줄 것이라 여겼다. 나는 머지 않아 그가 그의 글을 읽는 만큼의 즐거움을 주는 소프트웨어도 또한 개발할 수 있으리라는 것을 알았다.

시작부터, 하둡에 대한 톰의 공헌은 사용자들과 프로젝트에 대한 관심 정도를 보여주었다. 대다수 오픈 소스 공헌자와는 달리, 그는 자신의 요구를 더 충족시키도록 시스템을 비트는 데에 그다지 관심을 두지 않았고, 오히려 누군가 좀 더 쉽게 사용할 수 있도록 하는 데 관심을 두었다.

초기에, 톰은 아마존(Amazon)의 EC2와 S3 서비스에서 하둡이 잘 동작하도록 하는 전문적인 기술을 가지고 있었다. 그 후에 그는 수많은 문제와 씨름하였는데, 거기에는 맵리듀스 API를 향상, 웹사이트 강화, 객체 직렬화 프레임워크(object serialization framework) 고안 등이 포함되었다. 모든 면에 있어서, 자신의 아이디어를 정확히 제시해 주었다. 톰은 곧바로 하둡의 커밋터(소스 코드의 변경 권한자) 역할을 하게 되었고, 그 후에는 하둡 프로젝트 관리 위원회(Hadoop Project Management Committee)의 일원이 되었다.

톰은 현재 하둡 개발자 커뮤니티 내에서 존경받는 고위의 인물이다. 그는 프로젝트의 많은 기술 부분에 있어서 전문가이고, 그의 특별함이 하둡을 좀 더 사용하고 이해하기 쉽게 만들고 있다. 이러한 점 때문에, 톰이 하둡에 관한 책을 쓰려고 한다는 것을 알았을 때 매우 기뻤다. 누가 그보다 더 적합할 수 있을까? 이제 여러분은 기술뿐만 아니라 상식과 명료한 토크를 완벽하게 갖춘 이로부터 하둡에 관해 배울 기회를 맞이하였다.

- 더그 커팅(Doug Cutting), 하둡 창시자, 야후