Lambda Architecture

概要

• ストリーミングデータをバッチレイヤーとスピードレイヤー両方に送る
• バッチレイヤーで生データを保存し、バッチを定期的に実行し、サービングレイヤーのバッチビューによりビューを生成
• スピードレイヤーでリアルタイムビューを計算しビューを生成。バッチレイヤーを補完する情報として活用。
• クエリ内容によりバッチレイヤー・スピードレイヤーの情報を組み合わせて表示

Intent

フォールトトレラント、ストリームの不完全性に対する回復力、スケーラビリティの実現

Problem

• データ量の増加に対応した拡張可能性の向上
• 精度とリアルタイム性の向上

Solution

• ストリーミングデータをバッチレイヤーとスピードレイヤー両方に送る
• バッチレイヤーで生データを保存し、バッチを定期的に実行し、サービングレイヤーのバッチビューによりビューを生成
• スピードレイヤーでリアルタイムビューを計算しビューを生成。バッチレイヤーを補完する情報として活用。
• クエリ内容によりバッチレイヤー・スピードレイヤーの情報を組み合わせて表示

Context

• フェーズ：システム全体のアーキテクチャ設計
• MLアプリケーションの利用環境：一般
• 実装例：Apache Kafka、Apache Storm、Apache Spark

Discussion

バッチレイヤーとスピードレイヤー両システムを維持する必要がある