Deployable Canary Model
概要
- 外部条件を含め完全な入力データをアーカイブ
- 説明可能なカナリアMLモデルと説明不可能なプライマリMLモデルを組み合わせる
- ばらつきの変動やMLモデル間の違いを検知して再現や再学習
Intent
- 外部条件を含め完全な入力データの獲得
- 本番モデルの振舞いを近似して見える化
- モデル出力の異変を検知
Problem
- 説明可能性(いわゆるブラックボックス問題)の向上
- メンテナンス性(入力データ経時変化といったドメインシフトへの対応)の向上
Solution
- 外部条件を含め完全な入力データをアーカイブ
- 説明可能なカナリアモデルと説明不可能な本番モデルをランデブー
- モデル出力の異変を検知して、再現や再学習
Context
- フェーズ:データ収集~モデル構築(データサイエンティスト),学習/再学習(ソフトウェアエンジニア),評価/再評価(Opsエンジニア)
- MLアプリケーションの利用環境:説明責任/ロバスト性がとくに要求されるMLアプリケーション(自動運転、医療診断、スマート工場(外観検査/予知保全))
Discussion
- システムのレイテンシ要求を満たすこと
- 再学習のタイミングが適切に判断され、かつ再学習が成功すること
- 創造されるバリューが嵩むコストを上回ること(費用対効果)