論文の概要: Model Monitoring and Robustness of In-Use Machine Learning Models:
Quantifying Data Distribution Shifts Using Population Stability Index
- arxiv url: http://arxiv.org/abs/2302.00775v1
- Date: Wed, 1 Feb 2023 22:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:09:39.892251
- Title: Model Monitoring and Robustness of In-Use Machine Learning Models:
Quantifying Data Distribution Shifts Using Population Stability Index
- Title（参考訳）: 使用済み機械学習モデルのモデルモニタリングとロバスト性:人口安定指数を用いたデータ分布シフトの定量化
- Authors: Aria Khademi, Michael Hopka, Devesh Upadhyay
- Abstract要約: 我々は、自律運転に関連するコンピュータビジョンの例に注目し、画像にノイズを加えることによって発生するシフトを検出することを目的としている。
人口安定指数 (PSI) を, シフトの有無, および実験結果の指標として用いた。
- 参考スコア（独自算出の注目度）: 2.578242050187029
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Safety goes first. Meeting and maintaining industry safety standards for
robustness of artificial intelligence (AI) and machine learning (ML) models
require continuous monitoring for faults and performance drops. Deep learning
models are widely used in industrial applications, e.g., computer vision, but
the susceptibility of their performance to environment changes (e.g., noise)
\emph{after deployment} on the product, are now well-known. A major challenge
is detecting data distribution shifts that happen, comparing the following:
{\bf (i)} development stage of AI and ML models, i.e., train/validation/test,
to {\bf (ii)} deployment stage on the product (i.e., even after `testing') in
the environment. We focus on a computer vision example related to autonomous
driving and aim at detecting shifts that occur as a result of adding noise to
images. We use the population stability index (PSI) as a measure of presence
and intensity of shift and present results of our empirical experiments showing
a promising potential for the PSI. We further discuss multiple aspects of model
monitoring and robustness that need to be analyzed \emph{simultaneously} to
achieve robustness for industry safety standards. We propose the need for and
the research direction toward \emph{categorizations} of problem classes and
examples where monitoring for robustness is required and present challenges and
pointers for future work from a \emph{practical} perspective.
- Abstract（参考訳）: 安全が第一だ
人工知能(AI)と機械学習(ML)モデルの堅牢性に関する業界安全基準を満たし維持するには、障害やパフォーマンス低下の継続的な監視が必要である。
ディープラーニングモデルは、例えばコンピュータビジョンなどの産業アプリケーションで広く使われているが、製品上での環境変化(例えば、ノイズ)に対するそれらの性能の感受性は、現在よく知られている。
主な課題は、次のようなデータ分散シフトを検出して比較することである。
(i)aiおよびmlモデルの発達段階、すなわちトレイン/バリデーション/テストからbfへ
(ii)環境における製品(すなわち「テスト」の後でさえ)の展開段階。
自律運転に関連するコンピュータビジョンの例に注目し,画像にノイズを付加した結果として発生するシフトの検出を目標とする。
我々は、人口安定指数(PSI)をシフトの存在と強度の尺度として使用し、実証実験の結果からPSIに有望な可能性を示唆した。
さらに、業界安全基準の堅牢性を達成するために、分析される必要のあるモデル監視と堅牢性の複数の側面について論じる。
本稿では,頑健さのモニタリングが求められる問題クラスや事例の「emph{categorizations}」の必要性と研究方向について提案し,今後の課題と課題を,「emph{practical}」の観点から提示する。
関連論文リスト
- Unsupervised Model Diagnosis [49.36194740479798]
本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。
提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
論文 参考訳（メタデータ） (2024-10-08T17:59:03Z) - Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。
エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。
クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-09-25T06:48:25Z) - R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models [50.19174067263255]
我々は、エージェントがスパース・リワード、継続的なアクション、ゴールベースのロボット制御POMDP環境においてエクササイズするのを助けるために、事前の選好学習手法と自己修正スケジュールを導入する。
我々のエージェントは、累積報酬、相対安定性、成功率の観点から、最先端モデルよりも優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-09-21T18:32:44Z) - Real-Time Anomaly Detection and Reactive Planning with Large Language Models [18.57162998677491]
例えば、大規模な言語モデル(LLM)は、インターネットスケールのデータに基づいて訓練され、ゼロショット機能を持つ。
本稿では,潜在的な異常に関する判断を安全な制御フレームワークに組み込む2段階の推論フレームワークを提案する。
これにより、モニターは、四輪車や自動運転車のような動的ロボットシステムの信頼性を向上させることができる。
論文 参考訳（メタデータ） (2024-07-11T17:59:22Z) - Zero-shot Safety Prediction for Autonomous Robots with Foundation World Models [0.12499537119440243]
世界モデルは、コントローラを訓練し、システムの内部のダイナミックモデルを学ぶことによって安全違反を予測するために代理世界を作成する。
本稿では,観察を意味的かつ因果的に潜伏した表現に組み込む基礎世界モデルを提案する。
これにより、Surrogate dynamicsは、トレーニング不要な大規模言語モデルを活用することで、因果先状態を直接予測できる。
論文 参考訳（メタデータ） (2024-03-30T20:03:49Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳（メタデータ） (2023-03-02T17:27:45Z) - A monitoring framework for deployed machine learning models with supply
chain examples [2.904613270228912]
機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。
本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
論文 参考訳（メタデータ） (2022-11-11T14:31:38Z) - CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships [8.679073301435265]
既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
論文 参考訳（メタデータ） (2022-07-07T21:28:23Z) - Improving Variational Autoencoder based Out-of-Distribution Detection
for Embedded Real-time Applications [2.9327503320877457]
アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。
本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。
提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。
また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
論文 参考訳（メタデータ） (2021-07-25T07:52:53Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳（メタデータ） (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。