제공 :
한빛 네트워크
저자 : Alistair Croll
역자 : 정준영
원문 :
Survey results: How businesses are adopting and dealing with data
빅데이터의 사업적 사용을 간단히 살펴보기
2011년 12월 7일에 5번째 Strata 온라인 컨퍼런스가 있었다. 이러한 무료 웹 이벤트는 다양한 분야의 분석가, 혁신가, 연구원들을 한자리에 불러모았다. 각각의 컨퍼런스에서 개인적인 분석가들, 폭발적으로 늘어나는 벤처기업과 대규모 사업에 이르기까지 빅데이터를 향한 움직임의 단면을 엿볼 수 있었다.
이번에는 비즈니스가 어떻게 빅데이터를 받아들이고 어떤 도전이 필요한지에 대해서 논의해 보겠다. 이번 컨퍼런스는 참석자의 면면을 살펴보고 사업적으로 빅데이터를 채택하는 것을 잠시라도 살펴볼 좋은 기회였다. 대략 350명의 참석자 중에서 약 100명이 우리의 질문에 대한 답변을 주었다. 여기 그 결과가 있다.
기본적 사실들
참석자들은 일반 회사, 교육기관, 정부기관, 비영리기관 등에 근무하고 있지만, 대다수(82%)는 회사, 영리 기관에 근무하고 있었다.
대부분 참석자가 근무하는 기관은 절반 이상이 500명 이상, 22%는 10,000명 이상이 근무하는 상당히 큰 규모이다.
우리는 이런 인구통계학적 정보를 우리가 추가로 질문한 다음 세가지 질문을 분석하는데 사용하였다.
빅데이터 솔루션 채택과 문제점들
다음으로 참석자들에게 빅데이터 사용 현황에 대해서 물었다. 20% 미만만이 빅데이터를 위한 솔루션을 사용하고 있었다. 우리는 대용량, 샤딩(sharded), NoSQL, 대화형이고 데이터 탐색을 지원하는 병렬 데이터 질의 시스템을 빅데이터를 위한 솔루션이라고 본다. 1/4 이상은 현재로는 아무런 계획을 가지고 있지 않다고 답했다.
상대적으로 초기이지만, 60% 이상의 참석자들은 빅데이터와 그것이 그들에게 어떤 의미인지에 대한 정보를 수집하는 작업을 진행하고 있다고 말했다. 우리가 희망하는 사람들만으로 청취자를 선택했기 때문에, 아무리 잘 봐준다고 해도 이것은 상당히 의심스러운 결과이다. 그럼에도 불구하고 참석자의 규모와 그들의 반응은 솔루션 판매가 증가하고 있음을 시사하고 있다. 당신이 빅데이터 솔루션 판매자라면, 지금이 인지도를 높일 수 있는 좋은 기회인 것 같다.
실제로 빅데이터를 사용하려 할 때, 회사는 많은 어려운 문제들을 만나게 된다. 대표적으로 다음과 같은 것들이다.
- 데이터 보안과 통제(Data Privacy and govermance)
- 빅데이터가 무엇인지 정의하는 것(Defining what big data is)
- 기존 시스템과 연통(Integrating big data with legacy systems)
- 빅데이터를 다룰 기술 부족(A lack of big data skills)
- 솔루션 비용(The cost of tools)
조금 더 자세한 분석
이런 정보들도 유용하지만, 우리가 정말로 알고 싶은 것은 이런 것들이 어떻게 상호 연관이 있는지 하는 것이다. 무엇보다 Strata 는 데이터 관련 컨퍼런스이다. 이런 분석을 하지 않는다면 우리의 본분에 태만한 것이다.
먼저, 우리는 회사의 크기와 회사가 빅데이터 관련하여 가지고 있는 문제가 어떤 상관관계가 있는지를 조사하였다.
조사 결과는 대기업은 통제(governance)와 기술력 부족에서 어려움을 느끼고, 작은 기업들은 데이터 보안이나 기존 시스템과 통합에 대해서는 크게 걱정하지 않는다고 한다. 중간 규모 기업들은 비용에 대한 고민이 크다.
다음으로 회사의 규모와 빅데이터에 대한 수용 정도를 조사하였다.
조사 참여자 중에서는 작은 기업들이 앞서고 있었다. 500인 이사 기업 중에는 현재 빅데이터를 가지고 있다고 답한 기업이 없었다.
우리는 교육기관, 정부, NGO 응답자들은 비용을 최상위 문제로 두지 않고 있음을 알았는데, 이것은 그들이 오픈소스나 자체 개발을 위한 여력을 가지고 있음을 보이는 것이다.
물론 이 부분에서 응답의 수가 통계적으로 유의미한 수준은 아니지만, 특히 비영리기관에 상용 솔루션을 판매하는 것을 추가 조사할 필요가 있음을 보인다.
마지막으로, 회사가 빅데이터에 대해서 "단순히 살펴보는 것"에서 "무언가 만드는 것"으로 전환할 때 발생하는 변화에 대해서 어떤 고민을 하였는지 조사하였다.
수용 정도와 성숙도 단계별로 관심사항이 달라지고 있다. 초기에는 빅데이터가 무엇인지를 정의하는 것과 조직 구성에 대한 고민이 크다. 구현 단계에 가까워질수록 기존 시스템과 통합으로 관심이 바뀐다. 시스템을 구성한 이후에는, 인재 부족이나 기타 더욱 구체적인 고려 사항들이 생긴다.
응답자를 임의 선택 방식으로 선택하지 않았고, 일부 영역에서는 응답자의 수가 통계적으로 유의미할 만큼이 되지 않는 등 제대로 된 조사라고 할 수는 없지만, 이 조사의 피드백은 빅데이터가 무엇이고, 그것이 사업을 어떻게 변화시킬 것이며, 기업이 이런 기술을 채택할 때 부딪치게 될 통합 문제나 조직적 이슈에 대한 요구가 많음을 보인다.