論文の概要: Model Monitoring and Robustness of In-Use Machine Learning Models:
Quantifying Data Distribution Shifts Using Population Stability Index
- arxiv url: http://arxiv.org/abs/2302.00775v1
- Date: Wed, 1 Feb 2023 22:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:09:39.892251
- Title: Model Monitoring and Robustness of In-Use Machine Learning Models:
Quantifying Data Distribution Shifts Using Population Stability Index
- Title(参考訳): 使用済み機械学習モデルのモデルモニタリングとロバスト性:人口安定指数を用いたデータ分布シフトの定量化
- Authors: Aria Khademi, Michael Hopka, Devesh Upadhyay
- Abstract要約: 我々は、自律運転に関連するコンピュータビジョンの例に注目し、画像にノイズを加えることによって発生するシフトを検出することを目的としている。
人口安定指数 (PSI) を, シフトの有無, および実験結果の指標として用いた。
- 参考スコア(独自算出の注目度): 2.578242050187029
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Safety goes first. Meeting and maintaining industry safety standards for
robustness of artificial intelligence (AI) and machine learning (ML) models
require continuous monitoring for faults and performance drops. Deep learning
models are widely used in industrial applications, e.g., computer vision, but
the susceptibility of their performance to environment changes (e.g., noise)
\emph{after deployment} on the product, are now well-known. A major challenge
is detecting data distribution shifts that happen, comparing the following:
{\bf (i)} development stage of AI and ML models, i.e., train/validation/test,
to {\bf (ii)} deployment stage on the product (i.e., even after `testing') in
the environment. We focus on a computer vision example related to autonomous
driving and aim at detecting shifts that occur as a result of adding noise to
images. We use the population stability index (PSI) as a measure of presence
and intensity of shift and present results of our empirical experiments showing
a promising potential for the PSI. We further discuss multiple aspects of model
monitoring and robustness that need to be analyzed \emph{simultaneously} to
achieve robustness for industry safety standards. We propose the need for and
the research direction toward \emph{categorizations} of problem classes and
examples where monitoring for robustness is required and present challenges and
pointers for future work from a \emph{practical} perspective.
- Abstract(参考訳): 安全が第一だ
人工知能(AI)と機械学習(ML)モデルの堅牢性に関する業界安全基準を満たし維持するには、障害やパフォーマンス低下の継続的な監視が必要である。
ディープラーニングモデルは、例えばコンピュータビジョンなどの産業アプリケーションで広く使われているが、製品上での環境変化(例えば、ノイズ)に対するそれらの性能の感受性は、現在よく知られている。
主な課題は、次のようなデータ分散シフトを検出して比較することである。
(i)aiおよびmlモデルの発達段階、すなわちトレイン/バリデーション/テストからbfへ
(ii)環境における製品(すなわち「テスト」の後でさえ)の展開段階。
自律運転に関連するコンピュータビジョンの例に注目し,画像にノイズを付加した結果として発生するシフトの検出を目標とする。
我々は、人口安定指数(PSI)をシフトの存在と強度の尺度として使用し、実証実験の結果からPSIに有望な可能性を示唆した。
さらに、業界安全基準の堅牢性を達成するために、分析される必要のあるモデル監視と堅牢性の複数の側面について論じる。
本稿では,頑健さのモニタリングが求められる問題クラスや事例の「emph{categorizations}」の必要性と研究方向について提案し,今後の課題と課題を,「emph{practical}」の観点から提示する。
関連論文リスト
- Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Safe AI for health and beyond -- Monitoring to transform a health
service [51.8524501805308]
機械学習アルゴリズムの出力を監視するために必要なインフラストラクチャを評価する。
モデルのモニタリングと更新の例を示す2つのシナリオを提示します。
論文 参考訳(メタデータ) (2023-03-02T17:27:45Z) - A monitoring framework for deployed machine learning models with supply
chain examples [2.904613270228912]
機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。
本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
論文 参考訳(メタデータ) (2022-11-11T14:31:38Z) - CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships [8.679073301435265]
既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
論文 参考訳(メタデータ) (2022-07-07T21:28:23Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳(メタデータ) (2022-03-22T20:24:21Z) - Scanflow: A multi-graph framework for Machine Learning workflow
management, supervision, and debugging [0.0]
本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。
このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
論文 参考訳(メタデータ) (2021-11-04T17:01:12Z) - Improving Variational Autoencoder based Out-of-Distribution Detection
for Embedded Real-time Applications [2.9327503320877457]
アウト・オブ・ディストリビューション(OD)検出は、リアルタイムにアウト・オブ・ディストリビューションを検出するという課題に対処する新しいアプローチである。
本稿では,自律走行エージェントの周囲の有害な動きを頑健に検出する方法について述べる。
提案手法は,OoD因子の検出能力を一意に改善し,最先端手法よりも42%向上した。
また,本モデルでは,実験した実世界およびシミュレーション駆動データに対して,最先端技術よりも97%の精度でほぼ完璧に一般化した。
論文 参考訳(メタデータ) (2021-07-25T07:52:53Z) - SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。
これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。
本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
論文 参考訳(メタデータ) (2021-05-28T11:29:04Z) - Unsupervised Audio-Visual Subspace Alignment for High-Stakes Deception
Detection [3.04585143845864]
高い状況下で詐欺を検知する自動システムは、医療、社会労働、法的領域における社会的幸福を高めることができる。
ビデオにおける高い盗難を検出する既存のモデルが監視されているが、ラベル付きデータセットを使用してモデルをトレーニングすることは、ほとんどの現実世界のアプリケーションで収集されることは滅多にない。
本稿では,ハイテイクラベルを使わずに,実世界のハイテイクな虚偽を検知する,最初のマルチモーダルな非教師ありトランスファー学習手法を提案する。
論文 参考訳(メタデータ) (2021-02-06T21:53:12Z) - An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear
Analysis [68.8204255655161]
人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。
シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
論文 参考訳(メタデータ) (2020-07-14T15:47:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。