메뉴바로가기
메인메뉴 바로가기
컨텐츠 바로가기
 Loading... 

컨텐츠

교육과정 상세보기

교육과정 상세보기

Spark 및 Kafka를 이용한 빅데이터 실시간 처리 기술

교육정보
교육 일정
교육 개요 빅데이터 기술은 점차 실시간 streaming기술로 진화하고 있습니다. 본 과정은 대표적인 스트리밍 플랫폼인 Apache Spark을 이용하여 대화형 빅데이터 처리 시스템을 구축하고 활용합니다.
교육 목적 Apache Spark을 활용한 빅데이터 플랫폼의 구축과 이를 활용한 다양한 분석기법의 학습 및 실습
교육 기간 4일(28시간)
교육비 1,300,000 원
교재 (-)
선수 지식 빅데이터 기본개념. Python 기초 사용법 (Python과 R을 중심으로 실습합니다)
교육 대상 시스템관리자/DBA, 현업 분석자
교육 내용


1일차

▪인사

- 과정소개

▪(실시간)Streaming 개요

- Streaming 개념, 특징, 주요 Framework 소개

기반기술 (P)review

- Linux, Java/Scala

Hadoop & Ecosystems (P)review

- HDFS/MapReduce, YARN, Zookeeper

Apache Spark 소개

- Spark 아키텍처

2일차
RDD
- RDD 소개 및 실습
Spark API
- Transformation, Action, Join
Spark 프로그래밍
- Spark SQL, Graph Processing, MLib
Spark Streaming (1)
- Spark Streaming & Messaging 개요

3일차
Spark Streaming (2)
- Structured Streaming
- Event-time & Stateful Processing
Spark 관리
- Spark Administration, Monitoring
Apache Kafka 소개
- Kafka개요, 아키텍처
Kafka Stream Processing(1)
- Data Delivery

4일차
Kafka Stream Processing(2)
- Kafka Data Pipeline 구축, Stream Processing
Kafka 관리
- Kafka Administration, Monitoring
Apache Flink
- Flink 개요, DataStream API, Flink Streaming
SMACK 아키텍처
- SMACK 아키텍처 소개
Wrap-up
- 마무리














수강후기