'빅데이터'란 무엇인가?

'빅데이터'에 대한 이야기와 책들이 시중에 넘쳐나고 있다.
사실 '빅데이터'는 데이터의 모음으로 그 자체로서는 아무런 의미가 없음에도 시중에 쏟아지는 책들에는 ‘빅데이터’라는 단어 하나로 많은 이야기를 풀어내고 있다.
‘빅데이터’의 의미를 이해하기에 오히려 혼란을 주고 있는 것이 아닌가라는 생각에 ‘빅데이터’에 대하여 간단히 정리해 보았다.

이미지 출처: 국립중앙과학관, 1분동안 인터넷에서 생성되는 데이터의 양

빅데이터란?

빅데이터 정의

‘빅데이터’는 그 단어적 의미로는 말 그대로 큰 데이터이다. 하지만 이는 일차원적인 해석으로 단순히 큰 데이터만을 뜻하는 것이 아닌, 일상생활에서 발생하는 수많은 데이터를 분류, 분석하여 유의미한 결과물을 얻는 것이 바로 ‘빅데이터’라고 할 수 있겠다. 바로 행위적 요소가 가미되어야 하는 단어이다.

이러한 의미에서 한가지 확실히 이해하여야 할 부분은, 빅데이터는 '목표'가 아니라 풀어야 할 '문제'라는 것이다.
즉, '빅데이터‘ 그 자체로서의 의미가 아니라, 이를 통하여 주어진 과제에 대한 해석과 해결을 위한 소스로써 빅데이터를 활용하여 가장 합리적인 결과를 도출하는 것이 빅데이터를 바라보는 올바른 시각이라 할 수 있는 것이다.

이미지 출처 : news.samsung.com

따라서 빅데이터는 최근에 생긴 것이 아니라, 예전에도 우리 주위에 공존하고 있었다고 볼 수 있다. 하지만 최근들어 빅데이터가 화두가 되는 사유는 기술의 발달로 저장매체의 용량의 향상과 컴퓨터 처리 능력의 향상으로 보다 저렴한 비용과 짧은 시간에 유의미한 분석의 실행이 가능해졌기 때문이다.

예를 들어 신제품 런칭이나 개선을 위한 시장 조사 진행 시100~1,000명의 샘플을 확보하고 조사된 자료를 다시 조합하고, 분석하고 등등의 여러 과장을 거쳐야 했지만, 이제는 디지털 세상에 널려져 있는 데이터들의 조합과 재분류, 분석들을 통하여서 적은 비용으로 더 많은 샘플링을 확보할 수 있으며 즉시적으로 의미 도출이 가능해진 것이라 할 수 있겠다.

빅데이터는 한걸음 더 나아가 사람 생각의 범위를 넓혀주고 의사결정에 있어 적극적인 도움을 주는 역할까지 할수 있는 범위로 확장되어가고 있다.

예를들어 핸드폰으로 사진 촬영 시 노출량과 아웃포커싱을 자동으로 최적의 상태로 세팅하게 한 것들은 단순히 기능의 자동화라고 이야기할 수도 있지만, 그것보다는 그간 누적된 촬영 데이터와 고객들의 선호 방식에 대한 데이터를 기반으로 기기가 스스로 일반적인 소비자가 만 족할 수 있는 최상의 데이터/조건을 찾아 자동으로 촬영한 것, 즉 기기 스스로 의사결정을 한 결과 값이라 말할 수 있겠다.

이미지 출처 : tech.hyundaimotorgroup.com

이러한 기술들은 Al의 발달로 인해 언어 구사와 사람의 인지속까지도 확장되어 가고 있는 것을 보면 앞으로 ’빅데이터‘’ 빅데이터‘의 활용처는 무궁무진해지고 있다고 볼 수 있겠다.

다만, 언제나 그렇듯이 빅데이터에도 양면성이 있기 마련이다.
그중 대표적인 것이 데이터로 인한 사생활 노출이다. 디지털 기술의 발달은 개인이 지우고 싶은 기억조차 영원한 기록으로 남게 되었다. 해당 기록을 어찌어찌 찾는다 하더라도 디지털 기록은 확산이 쉬워 모든 데이터 소스를 찾는 것은 거의 불가능에 가깝다고 할 수 있는 상항이 되어 버린 것이다.

또 다른 측면은 세상은 '빅' 데이터를 넘어 ’메가’ 데이터와 그 이상의 형태를 구현하는 세상이 되어 가고 있는 것이다. 이러한 상황에서 데이터에 대한 활용 강화를 위해서는 이젠 데이터의 수집이 아닌 버리는 것에 대한 고민이 필요하다 할 수 있겠다. 빅데이터 속에서 가비지들을 걷어내는 작업과 방법이 또 하나의 새로운 과제(기술)로 부각 될 가능성이 높아 보인다.