빅 데이터(Big Data)란?

 

이번 트렌드 키워드는 차이의 호기심 결정체인 익명의 B씨로부터

‘빅 데이터’에 대해 알고 싶다는 요청이 들어왔습니다. 빅맥은 여러 번 먹어봤는데 

빅 데이터는 새로운 햄버거 세트인지 빅 데이트 같은 단체 미팅인지 감이 안 오는 

분들이 많으실 것 같은데요. 차이지기가 정보의 바다인 인터넷에서 고사리손으로 

끌어올린 자료들을 기반으로 빅 데이터에 대해 정리해보았습니다. 

빅 데이터. 당신이 상상하는 그 이상의 데이터

[출처 : Google 이미지]

세계 경제 포럼은 2012년 떠오르는 10대 기술 중 첫 번째를 빅 데이터 기술로

선정했으며 대한민국 지식경제부에서도 IT 10대 핵심기술 가운데 하나로 빅 데이터를 

선정한 바 있습니다. 세계가 매의 눈으로 빅 데이터를 주시하고 있다 해도 

과언이 아닌 것 같은데요. 자, 그럼 빅 데이터가 뭐길래 다들 관심을 보이는 걸까요?

빅 데이터란 다양하게 구성된 방대한 양의 데이터로부터 고속 캡쳐, 데이터 탐색 및 

분석을 통해 경제적으로 필요한 가치를 빠른 시간 내에 추출할 수 있는 차세대 

기술이라고 할 수 있습니다. 미국의 정보 기술 연구 및 자문 회사인 가트너에서는

데이터의 양인 볼륨(Volume), 데이터 종류의 다양성(Variety), 데이터 입, 출력의 

속도(Velocity)라는 세 개의 차원으로 빅 데이터의 특징을 정의했는데요. 

차이지기와 각 특징들을 하나씩 살펴보실까요?

 

볼륨(Volume) – 말 그대로 ‘빅 데이터’

현재 지구 상에 존재하고 있는 모든 데이터의 90%는 지난 2년 동안 생성된 

것이라 합니다. 게다가 최근 모바일 기기의 발전과 사물 인터넷의 발전으로 인해 

데이터량은 더욱 엄청나게 많아질 전망인데요. 앞으로 2020년까지는 2년마다 

데이터량이 두 배씩 커질 것이라고 합니다. 이런 이유로 과거에 수집했던 

텍스트 같은 정형적인 데이터들보다 현재 존재하는 모든 데이터의 90%인 

소셜 미디어나 웹상의 클릭 스트림, 센서 등으로 수집되는 비정형 데이터

(비가공 데이터)의 분석 능력에 대한 중요성이 더욱 커지고 있죠.

세계 최대의 가입자를 보유하고 있는 페이스북에서는 사용자들이 글과 사진, 

음악을 업로드하는 용량이 하루에 500테라 바이트에 이르며, 센서 등의

데이터를 분석하여 활용하는 사물 인터넷도 그 데이터 용량이 엄청나다고 합니다.

미국의 경우 비행기 엔진에 센서를 부착해 정보를 받아 고장 예측이나 분석을 하는데요. 

이때 엔진으로부터 만들어지는 데이터는 연 약 25억 테라바이트에 이르며 

자동으로 운전할 수 있는 자동차의 경우 센서를 통해 연 약 2페타 바이트(1,024 테라바이트)의 

데이터가 생성된다고 합니다. 이 정도 양은 되어야 빅 데이터라고 할 수 있겠죠?

다양성(Variety) – 지구 끝까지 퍼져있는 빅 데이터의 영역

앞서 말씀드린 데이터들은 다양한 경로를 통해 수집됩니다. 지난 2000년대

중반까지만 해도 기업이나 기관에서 활용하기 위해 분석하는 데이터는 체계적이고

정형적인 데이터가 대부분을 차지했는데요. 이러한 데이터는 표나 그래프 등을

통해 보기 좋게 가공되어 분석하기 편했지만, 정보의 범위는 제한적이었습니다.

하지만 2000년대 후반 태블릿 PC와 스마트폰의 급격한 보급과 인터넷 활용이

확장되면서 수집할 수 있는 정보는 더욱 많아졌습니다. 또한 센서 기술의 발달로

비행기 엔진, 채굴 장비, 자동차 운전 등을 통해 다양한 분야에서 데이터 수집이 

가능해졌죠. 데이터를 수집하는 방식은 웹으로 통합이 가능한 어떤 곳도 가리지 않고 

구석구석 확장되고 있는 추세입니다. 앞으로는 모든 분야에서 빅 데이터의 손길이 

닿지 않는 곳이 없는 것 같습니다.

속도(Velocity) – FBI뺨치는 정보 수집 속도

동영상 스트리밍 서비스 인 유투브에서는 분당 약 100시간 분량으로 

동영상이 전송되고 있으며, 트위터에서는 매 분마다 거의 30만 개의 메시지가 

전송되고 있다고 합니다. 그만큼 현대 사회는 데이터가 생성되고, 저장되며, 

시각화되는 과정이 빠르게 이루어지고 있다고 볼 수 있죠. 

과거에는 데이터를 일괄로 처리하는 방식이 일반적이었기에 수집된 데이터는 

하루 또는 일주일 단위로 업데이트 되었으며 컴퓨터나 서버를 새로운 

데이터베이스로 갱신하는 데 많은 시간이 걸렸습니다. 하지만 빅 데이터가 

등장한 이후 다양한 경로를 통해 수집된 데이터는 해당 정보를 필요로 하는 

기관이나 기업에 빠르게 전달할 수 있게 되었습니다. 지난 2013년 발생한 

보스톤 마라톤 대회에서는 테러 사건의 범인을 검거하기 위해 10 테라바이트의 

CCTV 자료 분석이 이뤄졌다고 하는데요. 기관에서 필요로 하는 데이터가 

신속하게 전달되었기에 범인을 검거할 수 있었다고 합니다. 

빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐 가치 있는 

정보를 제공하기에 그 중요성이 부각되고 있습니다. 하지만 빅 데이터의 문제점은 

사생활 침해와 보안이라고 할 수 있습니다. 빅 데이터는 수많은 개인들에 관한 

수많은 정보의 집합이기에 빅 데이터를 수집, 분석할 때에 개개인들의 사적인 

정보까지 수집해 관리할 가능성이 큰거죠. 이렇게 모인 데이터가 보안 문제로 

유출된다면, 이 역시 거의 모든 사람들의 정보가 유출되는 것이기에 큰 문제가 

될 가능성이 높다고 할 수 있습니다.

빅 데이터에 대한 궁금증이 풀리셨나요? 빅 데이터에 대한 추가적인 내용은 

웹트렌드 컨퍼런스 참석 후기 5부에서 계~속 이어집니다!

[웹트렌드 컨퍼런스 참석 후기] 5부 : 빅 데이터로 변화하는 산업 ▶▶ 바로 가려면 클릭

출처모음

위키백과 빅 데이터 / [사이트 바로가기]

lig 시스템 채용 블로그 - ‘빅 데이터(Big Data)란 무엇일까? 2012.09.24 [사이트 바로가기]

BDT Insight - 빅 데이터란 무엇인가? [1] 빅 데이터와 3Vs 2014.03.21 [사이트 바로가기]