Kappa Architecture

概要

• ストリーミングデータをスピードレイヤーに送る
• リアルタイムレイヤーを介してストリーミングされ、その結果をサービングレイヤーに配置
• クエリの要求に応じた情報をサービングレイヤーで提供

Intent

• フォールトトレラント、ストリームの不完全性に対する回復力、スケーラビリティの実現

Problem

• データ量の増加に対応した拡張可能性の向上
• 精度とリアルタイム性の向上

Solution

• ストリーミングデータをスピードレイヤーに送る
• リアルタイムレイヤーを介してストリーミングされ、その結果をサービングレイヤーに配置
• クエリの要求に応じた情報をサービングレイヤーで提供

Context

• フェーズ：システム全体のアーキテクチャ設計
• MLアプリケーションの利用環境：一般
• 実装例：Apache Kafka、Apache Storm、Apache Spark

Discussion

• バッチ処理で実行できるデータ処理をストリームで処理する必要性がある
• 重複処理、イベント相互参照、順序操作には弱い