AWS 기반 빅 데이터(Big Data on AWS)

기술분야 AWS
교육일정 교육 기간 3 일
교육 금액 0원 쿠폰등록시 0매
접수파일
이벤트&프로모션
**교육비는 부가세 별도 금액입니다. 부가세 포함 1,320,000원입니다.**
과정 설명
AWS 기반 빅 데이터는 Amazon Elastic MapReduce(EMR), Amazon Redshift, Amazon Kinesis 및 나머지 AWS 빅 데이터 플랫폼 등의 클라우드 기반 빅 데이터 솔루션을 소개합니다.이 과정에서는 Amazon EMR에서 Hive 및 Hue와 같은 하둡 도구의 다양한 에코시스템을 사용해 데이터를 처리하는 방법을 보여줍니다.또한, 빅 데이터 환경을 생성하고, Amazon DynamoDB, Amazon Redshift 및 Amazon Kinesis로 작업하며, 모범 사례를 활용해 효율적인 비용으로 안전한 빅 데이터 환경을 설계하는 방법을 배웁니다.

-빅 데이터 에코시스템 안에 AWS 솔루션 설치
-Amazon EMR의 컨텍스트에서 Apache 하둡 사용
-Amazon EMR 클러스터의 구성 요소 파악
-Amazon EMR 클러스터 시작 및 구성
-Hive, Pig, 스트리밍을 비롯해 Amazon EMR에 사용 가능한 일반적인 프로그래밍 프레임워크 사용
-Hue를 사용해 Amazon EMR의 사용 편이성을 개선
-Amazon EMR에서 Spark를 통해 인 메모리 분석 사용
-적절한 AWS 데이터 스토리지 옵션 선택
-실시간 빅 데이터 처리를 위해 Amazon Kinesis를 사용하는 이점 파악
-Amazon Redshift를 사용해 데이터를 효과적으로 저장 및 분석
-빅 데이터 솔루션의 비용과 보안을 이해하고 관리
-데이터 수집, 전송, 압축 옵션 파악
-임시 쿼리 분석에 Amazon Athena 활용
-Amazon QuickSight로 데이터와 쿼리를 표시하기 위해 시각화 소프트웨어 사용
-AWS Data Pipeline을 사용하여 빅 데이터 워크플로 오케스트레이션
수강 대상
-솔루션스 아키텍트 및 시스템 운영 관리자와 같이 빅 데이터 솔루션의 설계 및 구현에 책임이 있는 개인
-AWS를 기반으로 한 빅 데이터 솔루션에 관심이 있는 데이터 과학자 및 데이터 분석가
과정 소개

Day 1

- 데이터
개요


- 데이터
수집 및 전송


- 데이터 스트리밍Amazon
Kinesis


-실습 1:
Amazon Kinesis

사용하여
Apache
서버 로그
데이터를
스트림 및 분석

- 데이터
스토리지 솔루션


- 데이터
처리 및 분석


-실습 2:
Amazon Athena

사용하여
Amazon
S3
의 로그
데이터 쿼리

 

Day 2

-Apache
하둡Amazon
EMR


-실습 3:
Amazon
DynamoDB에 데이터
저장 및 쿼리


-Amazon
EMR
사용

-하둡
프로그래밍 프레임워크


-실습 4:
Amazon EMR
에서 Hive
사용하여 서버 로그 처리


-Amazon
EMR
의 웹
인터페이스


-실습 5:
Amazon EMR
에서 Hue
사용하여
Pig
스크립트
실행


-Amazon
EMR
기반 Apache
Spark


-실습 6:
Amazon EMR
에서 Spark
사용하여
NY
택시
데이터 처리

 

Day 3

-Amazon
Redshift
데이터

- 데이터
시각화 및
오케스트레이션

-실습 7:
TIBCO
Spotfire
사용하여 데이터 시각화


- 데이터
비용 관리


-Amazon
배포 보안

- 데이터
설계 패턴
 

선수과정
-Apache Hadoop, MapReduce, HDFS 및 SQL/NoSQL 쿼리 작업을 비롯한 빅 데이터 기술에 대한 기본적인 지식 보유
-빅 데이터 기술 원리 웹 기반 교육(상세보기)을 이수했거나 동등 수준의 경험을 보유
-핵심 AWS 서비스 및 퍼블릭 클라우드 구현에 대한 실무 지식 보유
-수강생은 AWS 기술 에센셜 과정을 이수했거나 동등 수준의 경험을 보유
-데이터 웨어하우징, 관계형 데이터베이스 시스템, 데이터베이스 설계에 대한 기본 지식 보유
교육 장소