コース内容
紹介
0/4
講座タイトル
01:07
本コースの概要
07:23
講師の自己紹介
01:40
本コースがビッグデータ基盤のどこに当たるのか？
02:17
環境構築
0/1
環境構築
00:50
Kafka(メッセージキュー)基礎知識
Kafkaや一般的なメッセージキューについて学びます
0/6
本セクションの目次
メッセージキューとエコシステム
09:27
セクション2で構築した環境の説明
02:57
クラウドonメッセージキュー
01:48
メッセージキューがあると嬉しいのはなぜ？
08:24
セクション3小テスト
Spark Structured Streaming とは？
0/5
本セクションの目次
01:03
Spark.Structured Streamingとは？
01:47
Kafkaとの組み合わせはどんなことに使われる？
05:13
他のストリーミングツール
02:00
セクション4小テスト
【クイックスタート】メッセージキュー(Kafka)とPySpark Streaming
0/9
本セクションの目次
00:47
コンポーネントの起動
05:33
データの送信と確認
01:35
データの送信と確認(コンソール)
10:28
データの送信と確認(ファイルシンク)
02:39
データの送信と確認（メッセージキューチェーン）
04:17
データの送信と確認（メモリシンク）
03:35
各シンクの使い分け
03:02
pyspark-topic2からデータを読み取りjsonフォーマットでシンクするプログラムを書いてみましょう
Kafka with Avroで脱初心者
0/6
本セクションの目次
01:28
Avroフォーマット
04:27
前方互換と後方互換と完全互換
02:48
メッセージキューとAvroを連携してみよう
07:37
Avroファイルの読み書き
03:08
Avroで前方互換をやってみよう
05:34
IoTツール、Kafka、PySparkを組み合わせてみよう
IoTツール、Kafka、PySparkを組み合わせてみよう
0/7
本セクションの目次
01:14
組み合わせ概要説明
02:24
Web画面からのデータ送信
03:56
ウィンドウ処理
11:56
DIKWモデル
03:41
UUIDの付与処理とイベント時間の付与
05:06
セクション７コース理解小テスト
データサイエンスのためのストリーミング前処理入門　PythonとSparkで始めるビッグデータストリーミング処理入門
レッスン内容

本コースの概要を説明します。

本コースは、普段よく利用されるSparkでのデータ操作や概念を一つにまとめたコースです

前
次
0% 完了