serverless-data-1

AWS 서버리스 데이터 분석 시스템 아키텍쳐

아래 유튜브 영상을 보고 관심이 생겨 글을 작성하게 되었다.

서버리스 데이터 분석 시스템 구축 | Part 1. 개념 및 워크 플로우

• Sungmin Kim.
• Solutions Architect, AWS

데이터로 어떤 작업을?

• 네트워크 분석
• 추천
• 머신러닝
• 그 외…

What is Architecting

어떤 문제를 풀기위해서 다양한 방법들이 있을텐데, 다양한 장단점들을 Trade-off 해서 밸런싱하는것이 아키텍팅의 중심이라고 생각할 수 있다.

꼭 어떤 방법론이나 적용법이 가장 좋은 방법이라고 단정지을 순 없다.

데이터

데이터만 가지고 가치가 있는것이 아니라 데이터를 가지고 원하는 결과 및 인사이트를 내기위하여 과정들이 필요하다.

3+1 Vs of Big Data

과거에 비해서 분석시스템이 만들기가 더 어려워졌을까?

그것은 빅데이터의 4가지 특성

• 어마어마게 커진 Volume
• 생산되는 속도의 차이 Velocity
• 데이터의 다양성 Variety
• 원하는 가치 Value

이런 복잡성 때문에 현대에 와서는 데이터분석 시스템이 복잡해지고 구축해지기 어려운 점이 있다.

Structured, Unstructred, and Semi-Structured

데이터의 다양한 모양 및 구조

• Structred Data
  • RDB에 잘 정의되있는 데이터
• Unstructred Data
  • 동영상, 텍스트 데이터
• Semi-Structured Data
  • CSV 데이터, JSON 데이터

Data Temperature Spectrum

• Hot data
  • 빠른 빈도로 데이터 요청
  • 응답시간이 빨라야 함
  • 데이터의 양은 적음
  • In-Memory DB 사용

예시) 세션값 요청

• Cold data
  • 많은 양의 데이터 요청
  • 응답시간은 좀 높아도 괜찮음

예시) 연말에 정산된 데이터

• Warm data
  • 상시적으로 사용하는 데이터
  • 적당한 응답시간

모든 데이터를 동일한 스토리지, 분석 솔루션으로 처리하기 보다는 목적에 맞는 데이터의 온도에 따라 나누어서 적용하는게 바람직하다.

Simpilfy Big Data Processing

아주 단순한 과정을 표현하자면

1. 데이터 수집
2. 데이터 저장
3. 분석 및 프로세싱
4. 데이터 소비 및 활용

중요한 점

• 데이터의 처리 속도
• 데이터의 볼륨의 처리 가능량
• 전체적인 프로세스의 비용

Business Intelligence System

CRM & CDC

주기적으로 변경되는 데이터 저장

WEB

쇼핑몰 등에서 클릭하는 데이터등을 저장

IoT

사물 인터넷의 센서 데이터를 모아서 저장

다음에..

다음글에서 실제 AWS 서비스 아키텍쳐를 구성하는 방안들에대해 설명이 나오는데 해당 내용으로 글을 이어나가도록 하겠다.