2장. 데이터의 가치와 미래

1절 빅데이터의 이해

1. 빅데이터의 이해

빅데이터의 정의는 빅데이터를 보는 관점에 따라 3가지로 정의한다

• 3V로 요약되는 좁은 범위의 정의
• 데이터 자체뿐 아니라 처리, 분석 기술적 변화까지 포함하는 중간 범위의 정의
• 인재, 조직 변화까지 포함한 넓은 관점에서의 정의

3V에는

Volume (양), Variety (다양성), Velocity (속도, 실시간성)

 

+4V에는

Value (가치), Visualization (시각화), Veracity (정확성) 이 있다.

 

※ 빅데이터 정의의 범주 및 효과

데이터 변화 -> 기술 변화 -> 인재, 조직 변화

 

2. 출현 배경과 변화

• 산업계의 출현배경 : 고객 데이터 축척, 보유를 통해 데이터에 숨어있는 가치를 발굴
• 학계의 출현배경 : 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍처, 통계 도구의 발전
• 기술발전으로 인한 출현배경 : 관련기술 (저장기술, 인터넷 보급, 클라우드 컴퓨팅, 모바일 혁명)의 발달

 

3. 빅데이터의 기능

 ※ 빅데이터에 거는 기대의 비유적 표현

산업혁명의 석탄, 철 / 21세기의 원유 / 렌즈 / 플랫폼 (p.76)

 

4. 빅데이터가 만들어 내는 본질적인 변화

사전처리 ▶ 사후처리 

표본조사 ▶ 전수조사

(일부만 조사에서 모집단 전부를 조사)

질 ▶ 양

(빅데이터에 의해 양이 늘어남, 양질의 정보가 오류 정보보다 많음)

인과관계 ▶ 상관관계

(두 대상이 서로 관련성이 있다고 추측한다.)

 

2절 빅데이터의 가치와 영향

1. 빅데이터의 가치

※ 빅데이터 가치 산정이 어려운 이유

• 데이터 활용방식 : 특정 데이터를 언제, 어디서, 누가 활용할지 알 수 없게 되었다.. 가치를 산정하는 것도 어려워짐
• 새로운 가치창출 : 데이터가 '기존에 없던 가치' 를 창출함에 따라 그 가치를 측정하기가 어려워졌다.
• 분석 기술발전 : 현재는 가치가 없는 데이터라도 추후에 새로운 분석기법이 등장한다면 거대한 가치를 지닌 데이터가 될 수도 있다.

3절 비즈니스 모델

1. 빅데이터 활용사례

※ 관점에 따른 정의

• 구글 : 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신
• 월마트 : 고객의 구매패턴을 분석해 상품 진열에 활용

※ 정부

• 실시간 교통정보 수집, 기후정보, 소방 서비스 등을 위해 실시간 모니터링 실시하여 국가 안전 확보에 활용

※ 개인

• 정치인 : 선거 승리를 위해 사회관계망 분석을 활용해 유세지역 선거
• 가수 : 팬들의 음악 청취 기록을 분석해 공연 시 노래 순서 선정

2. 빅데이터 활용 기본 테크닉

• 연관규칙학습 : 변인들 간에 상관관계 있는지 찾아내는 방법
• 유형분석 : 문서를 분류하거나 조직을 그룹으로 나눌 때 등
• 유전자 알고리즘 : 문제의 해결책을 자연선택, 돌연변이 등과 같은 매커니즘을 통해 evolve 시켜나가는 방법
• 기계학습 : 훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법
• 회귀분석 : 독립변수를 조작하면서 종속변수의 변화를 관찰하여 두 변인의 관계를 파악할 때 사용
• 감정분석 : 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석
• 소셜네트워크분석 : 특정인과 다른 사람의 관계 파악시에 사용

4절 위기 요인과 통제 방안

• 사생활 침해
• 책임 원칙 훼손
• 데이터 오용

※ 위기 요인에 따른 통제 방안

• 동의에서 책임으로
• 결과 기반 책임 원칙 고수
• 알고리즘 접근 허용