論文の概要: Designing monitoring strategies for deployed machine learning
algorithms: navigating performativity through a causal lens
- arxiv url: http://arxiv.org/abs/2311.11463v2
- Date: Mon, 26 Feb 2024 07:51:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:59:25.668295
- Title: Designing monitoring strategies for deployed machine learning
algorithms: navigating performativity through a causal lens
- Title（参考訳）: デプロイされた機械学習アルゴリズムのモニタリング戦略の設計: 因果レンズによるパフォーマンスのナビゲート
- Authors: Jean Feng, Adarsh Subbaswamy, Alexej Gossmann, Harvineet Singh,
Berkman Sahiner, Mi-Ok Kim, Gene Pennello, Nicholas Petrick, Romain
Pirracchio, Fan Xia
- Abstract要約: この研究の目的は、監視戦略を設計する際の比較的過小評価されている複雑さを強調することである。
MLに基づく未計画の読み出し予測のためのリスク予測アルゴリズムについて検討する。
このケーススタディの結果は、すべての監視システムが平等に作成されるわけではないという、一見単純な(そして明らかな)事実を強調します。
- 参考スコア（独自算出の注目度）: 6.329470650220206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: After a machine learning (ML)-based system is deployed, monitoring its
performance is important to ensure the safety and effectiveness of the
algorithm over time. When an ML algorithm interacts with its environment, the
algorithm can affect the data-generating mechanism and be a major source of
bias when evaluating its standalone performance, an issue known as
performativity. Although prior work has shown how to validate models in the
presence of performativity using causal inference techniques, there has been
little work on how to monitor models in the presence of performativity. Unlike
the setting of model validation, there is much less agreement on which
performance metrics to monitor. Different monitoring criteria impact how
interpretable the resulting test statistic is, what assumptions are needed for
identifiability, and the speed of detection. When this choice is further
coupled with the decision to use observational versus interventional data, ML
deployment teams are faced with a multitude of monitoring options. The aim of
this work is to highlight the relatively under-appreciated complexity of
designing a monitoring strategy and how causal reasoning can provide a
systematic framework for choosing between these options. As a motivating
example, we consider an ML-based risk prediction algorithm for predicting
unplanned readmissions. Bringing together tools from causal inference and
statistical process control, we consider six monitoring procedures (three
candidate monitoring criteria and two data sources) and investigate their
operating characteristics in simulation studies. Results from this case study
emphasize the seemingly simple (and obvious) fact that not all monitoring
systems are created equal, which has real-world impacts on the design and
documentation of ML monitoring systems.
- Abstract（参考訳）: 機械学習(ML)ベースのシステムがデプロイされた後、アルゴリズムの安全性と有効性を保証するために、そのパフォーマンスを監視することが重要である。
mlアルゴリズムが環境と相互作用する場合、そのアルゴリズムはデータ生成機構に影響を与え、独立の性能評価において主要なバイアス源となる。
先行研究は、因果推論手法を用いて、パフォーマンス性の有無でモデルを検証する方法を示したが、パフォーマンス性の有無でモデルを監視する方法についてはほとんど研究されていない。
モデル検証の設定とは異なり、どのパフォーマンスメトリクスを監視するかという合意ははるかに少ない。
異なる監視基準は、テスト統計結果の解釈方法、識別可能性に必要な仮定、検出速度に影響を及ぼす。
この選択が観察データと介入データを使用する決定とさらに結びつくと、MLデプロイメントチームは、さまざまな監視オプションに直面します。
この研究の目的は、監視戦略を設計するという比較的過小評価された複雑さと、これらの選択肢の中から選択するための体系的なフレームワークをどのように提供できるかを強調することである。
モチベーションの例として、未計画の読み出しを予測するためのMLベースのリスク予測アルゴリズムを検討する。
因果推論と統計的プロセス制御のツールを組み合わせることで,6つの監視手順(3つの監視基準と2つのデータソース)を考察し,シミュレーション研究における運用特性について検討する。
このケーススタディの結果は、すべての監視システムが同等ではないという一見単純な(そして明白な)事実を強調し、ML監視システムの設計とドキュメントに現実的な影響を与えている。
関連論文リスト
- Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Monitoring Algorithmic Fairness under Partial Observations [3.790015813774933]
実行時検証技術は、デプロイされたシステムのアルゴリズム的公正性を監視するために導入された。
従来の監視技術は、監視されたシステムの状態の完全な可観測性を前提としている。
我々は、部分的に観測されたマルコフ連鎖としてモデル化されたシステムにフェアネスモニタリングを拡張した。
論文 参考訳（メタデータ） (2023-08-01T07:35:54Z) - Alignment-based conformance checking over probabilistic events [4.060731229044571]
本稿では、重み付きトレースモデルと重み付きアライメントコスト関数と、イベントデータに対する信頼度を制御するカスタムしきい値パラメータを導入する。
結果のアルゴリズムは、プロセスモデルとよりよく一致した、低いが十分に高い確率のアクティビティを考慮します。
論文 参考訳（メタデータ） (2022-09-09T14:07:37Z) - Lightweight Automated Feature Monitoring for Data Streams [1.4658400971135652]
そこで本稿では,データドリフトを検出するFM(Feature Monitoring)システムを提案する。
システムは、システムによって使用されるすべての機能を監視し、アラームが発生するたびにランク付けされる解釈可能な機能を提供します。
これは、FMが特定のタイプの問題を検出するためにカスタムシグナルを追加する必要をなくし、利用可能な機能の空間を監視するのに十分であることを示している。
論文 参考訳（メタデータ） (2022-07-18T14:38:11Z) - Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。
まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。
次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
論文 参考訳（メタデータ） (2021-11-18T23:21:00Z) - Benchmarking Safety Monitors for Image Classifiers with Machine Learning [0.0]
高精度機械学習(ML)画像分類器は、動作時に失敗しないことを保証できない。
安全モニタなどのフォールトトレランス機構の使用は,システムを安全な状態に保つ上で有望な方向である。
本稿では,ML画像分類器のベンチマークを行うためのベースラインフレームワークを確立することを目的とする。
論文 参考訳（メタデータ） (2021-10-04T07:52:23Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Anticipating the Long-Term Effect of Online Learning in Control [75.6527644813815]
AntLerは、学習を予想する学習ベースの制御法則の設計アルゴリズムである。
AntLer は確率 1 と任意に最適な解を近似することを示す。
論文 参考訳（メタデータ） (2020-07-24T07:00:14Z) - How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。
データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。
フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文 参考訳（メタデータ） (2020-05-25T12:13:49Z) - Collaborative Inference for Efficient Remote Monitoring [34.27630312942825]
これをモデルレベルで解決するための簡単なアプローチは、より単純なアーキテクチャを使用することです。
本稿では,局所的なモニタリングツールとして機能する単純な関数の和として,予測モデルを分解した代替手法を提案する。
ローカル監視機能が安全であることを保証するために、後者にサイン要求が課される。
論文 参考訳（メタデータ） (2020-02-12T01:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。