『빅데이터가 만드는 세상』 빅토르 마이어 쇤버거, 케네스 쿠키어

요즘 IT업계의 화두는 역시 클라우드 컴퓨팅과 빅데이터라고 할 수 있다. 이미 클라우드 컴퓨팅은 대중들에게도 잘 알려지기 시작하였고, 이제 빅데이터가 좀 더 "핫"하다고 할 수 있다. 이미 빅데이터를 잘 활용하는 기업들도 있고, 학술적으로도 많은 연구가 이뤄지고 있다. 지인의 말에 따르면 좀 과장을 해서 빅데이터 관련 논문이 아니면 시선을 끌지도 못한다고 한다. 이러한 상황에서, 빅데이터라는 단어에 대해서 시큰둥하던 나로서도 관련 서적을 거들떠보지 않을 수가 없었다. 그 와중에 주로 책소개 받을 때 방문하곤 하던 투자 블로거 한 분이 마침 이 책 『빅데이터가 만드는 세상』을 소개하는 포스팅을 하여 읽게 되었다.

빅데이터라는 개념의 반대쪽에 있는 개념은 바로 샘플링이다. 이제까지 인류가 여건상 샘플링이라는 방법을 선택해 왔으나 샘플링에는 엄연히 한계가 있는 법이고 그 한계는 바로 모집단의 추출에 따라 결과에 오류가 발생하는 것이다. 그리고, 이제 인류는 어느 시점에서부터 빅데이터를 수집/관리/연구할 수 있는 여건을 마련하게 되었다. 이렇게 빅데이터가 쌓이게 되면서 놀라울 정도의 분석 능력이 생기게 된 것이다. 이것이 내가 이 책 『빅데이터가 만드는 세상』을 통해서 정리한 내용이다. 뭔가 새로운 사실을 깨달았다고 할 수는 없지만 애매모호하게 머리속에 있던 사실들이 갑자기 잘 정리되는 느낌이 들었다.

위와 같은 애매모호함으로부터의 정리라는 효과를 얻었음에도 불구하고 난 이 책이 빅데이터 자체에 좀 더 집중하는 것이 어땠을까라는 아쉬움이 있다. 이 책은 빅데이터와 샘플링이라는 반대개념에 대한 설명만큼이나 데이터 마이닝이라는 개념에 대해서 많은 분량을 할애하고 있다. 문제는 컴퓨터공학을 전공한 사람이라면 누구나 데이터 마이닝이 어떤 개념인지 이미 이해하고 있다는 사실이다. 좀 더 일반적인 독자를 위해서 씌여진 책이라 할지라도 좀 더 빅데이터 자체에 초점을 맞춰야 하는 것이 아닌가하는 생각이 든다. 아예 책 제목을 "데이터 마이닝에서 빅데이터까지" 등과 같이 짓던가! 적어도 그러면 왜 데이터 마이닝에 대한 설명을 이리 오래하고 있는지에 대해서 영문도 모른채 짜증을 낼 일은 없었을텐데... 빅데이터의 우수성이 아닌 데이터 마이닝의 우수성을 말하면서 "놀랍지 아니한가!"라는 어투로 써내려가고 있는 글은 황당하기 짝이 없었다.

다른 책들이 어떤식으로 빅데이터를 소개하고 있는지는 잘 모르겠다. 내가 읽은 관련 서적은 이 책이 유일한지라... 하지만, 한가지 언급하자면 빅데이터라는 개념이 갑자기 생긴 것은 아니다. 그저 빅데이터라는 용어가 요즘들어 자주 사람들의 입에 오르내릴 뿐이다. 빅데이터에 대한 열망은 늘상 있어왔다.

이 책에 대해서 다소 비판적임에도 불구하고 이 책을 읽은 후에 자극을 받았던 점이 있다면, 관계형 데이터베이스 이후의 세상에 좀 더 관심을 가질 필요가 있다는 것이다. Facebook같이 더 이상 RDBMS로 해결할 수 없는 수준의 시스템이 생기고 있고, 업계 종사자들에겐 이런 새로운 세상에서 살아남기 또는 앞서가기 위해서는 NoSQL 등의 비정형화된 데이터를 다루는 기술들에 대한 인지 및 습득이 필요할 듯하다. 물론, 이러한 생각은 이 책을 읽기 전에도 했지만, 동기부여적인 측면에서 『빅데이터가 만드는 세상』은 꽤 훌륭한 역할을 해주었다.