コース内容
紹介
0/4
講座タイトル
01:07
本コースの概要
07:23
講師の自己紹介
01:40
本コースがビッグデータ基盤のどこに当たるのか?
02:17
環境構築
0/1
環境構築
00:50
Kafka(メッセージキュー)基礎知識
Kafkaや一般的なメッセージキューについて学びます
0/6
本セクションの目次
メッセージキューとエコシステム
09:27
セクション2で構築した環境の説明
02:57
クラウドonメッセージキュー
01:48
メッセージキューがあると嬉しいのはなぜ?
08:24
セクション3小テスト
Spark Structured Streaming とは?
0/5
本セクションの目次
01:03
Spark.Structured Streamingとは?
01:47
Kafkaとの組み合わせはどんなことに使われる?
05:13
他のストリーミングツール
02:00
セクション4小テスト
【クイックスタート】メッセージキュー(Kafka)とPySpark Streaming
0/9
本セクションの目次
00:47
コンポーネントの起動
05:33
データの送信と確認
01:35
データの送信と確認(コンソール)
10:28
データの送信と確認(ファイルシンク)
02:39
データの送信と確認(メッセージキューチェーン)
04:17
データの送信と確認(メモリシンク)
03:35
各シンクの使い分け
03:02
pyspark-topic2からデータを読み取りjsonフォーマットでシンクするプログラムを書いてみましょう
Kafka with Avroで脱初心者
0/6
本セクションの目次
01:28
Avroフォーマット
04:27
前方互換と後方互換と完全互換
02:48
メッセージキューとAvroを連携してみよう
07:37
Avroファイルの読み書き
03:08
Avroで前方互換をやってみよう
05:34
IoTツール、Kafka、PySparkを組み合わせてみよう
IoTツール、Kafka、PySparkを組み合わせてみよう
0/7
本セクションの目次
01:14
組み合わせ概要説明
02:24
Web画面からのデータ送信
03:56
ウィンドウ処理
11:56
DIKWモデル
03:41
UUIDの付与処理とイベント時間の付与
05:06
セクション7コース理解小テスト
データサイエンスのためのストリーミング前処理入門 PythonとSparkで始めるビッグデータストリーミング処理入門
レッスン内容
本コースの概要を説明します。
本コースは、普段よく利用されるSparkでのデータ操作や概念を一つにまとめたコースです
0%
完了
受講を完了する
リンクの挿入/編集
閉じる
リンク先 URL を入力してください
URL
リンク文字列
リンクを新しいタブで開く
または既存のコンテンツにリンク
検索
検索キーワードが指定されていません。最近の項目を表示しています。
検索もしくは上下矢印キーを使って項目を選択してください。
キャンセル