論文の概要: Detecting and Mitigating Test-time Failure Risks via Model-agnostic
Uncertainty Learning
- arxiv url: http://arxiv.org/abs/2109.04432v1
- Date: Thu, 9 Sep 2021 17:23:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:25:27.229694
- Title: Detecting and Mitigating Test-time Failure Risks via Model-agnostic
Uncertainty Learning
- Title(参考訳): モデル非依存不確実性学習によるテスト時の障害リスクの検出と軽減
- Authors: Preethi Lahoti, Krishna P. Gummadi, and Gerhard Weikum
- Abstract要約: 本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。
リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。
ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
- 参考スコア(独自算出の注目度): 30.86992077157326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliably predicting potential failure risks of machine learning (ML) systems
when deployed with production data is a crucial aspect of trustworthy AI. This
paper introduces Risk Advisor, a novel post-hoc meta-learner for estimating
failure risks and predictive uncertainties of any already-trained black-box
classification model. In addition to providing a risk score, the Risk Advisor
decomposes the uncertainty estimates into aleatoric and epistemic uncertainty
components, thus giving informative insights into the sources of uncertainty
inducing the failures. Consequently, Risk Advisor can distinguish between
failures caused by data variability, data shifts and model limitations and
advise on mitigation actions (e.g., collecting more data to counter data
shift). Extensive experiments on various families of black-box classification
models and on real-world and synthetic datasets covering common ML failure
scenarios show that the Risk Advisor reliably predicts deployment-time failure
risks in all the scenarios, and outperforms strong baselines.
- Abstract(参考訳): プロダクションデータでデプロイされたマシンラーニング(ML)システムの潜在的な障害リスクを確実に予測することは、信頼できるAIの重要な側面である。
本稿では,すでにトレーニング済みのブラックボックス分類モデルの障害リスクと予測の不確実性を推定する,新しいポストホックメタリーナーであるリスクアドバイザを紹介する。
リスクスコアの提供に加えて、リスクアドバイザリは不確実性推定をアレエータ的および認識的不確実性要素に分解し、失敗を誘発する不確実性の原因に関する有益な洞察を与える。
その結果、リスクアドバイザは、データ変数、データシフト、モデル制限による障害を区別し、緩和アクション(例えば、データシフトに対応するためにより多くのデータを集める)をアドバイスすることができる。
ブラックボックス分類モデルや、一般的なML障害シナリオをカバーする実世界および合成データセットのさまざまなファミリーに関する大規模な実験は、リスクアドバイザーがすべてのシナリオにおけるデプロイメント時の障害リスクを確実に予測し、強力なベースラインを上回っていることを示している。
関連論文リスト
- Distribution-free risk assessment of regression-based machine learning
algorithms [6.507711025292814]
我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。
そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
論文 参考訳(メタデータ) (2023-10-05T13:57:24Z) - Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based
Reinforcement Learning [26.497229327357935]
トラジェクティブサンプリングを用いたモデルベース強化学習におけるリスク管理手法を提案する。
実験により、不確実性の分離は、不確実かつ安全クリティカルな制御環境において、データ駆動型アプローチとうまく連携するために不可欠であることが示されている。
論文 参考訳(メタデータ) (2023-09-11T16:10:58Z) - Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。
ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
論文 参考訳(メタデータ) (2023-08-01T02:07:47Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳(メタデータ) (2023-06-12T06:52:04Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳(メタデータ) (2023-04-26T15:54:23Z) - Learning Disturbances Online for Risk-Aware Control: Risk-Aware Flight
with Less Than One Minute of Data [33.7789991023177]
安全クリティカルなリスク認識制御の最近の進歩は、システムが直面する可能性のある障害に関するアプリオリの知識に基づいている。
本稿では,リスク認識型オンラインコンテキストにおいて,これらの障害を効果的に学習する手法を提案する。
論文 参考訳(メタデータ) (2022-12-12T21:40:23Z) - A Survey of Risk-Aware Multi-Armed Bandits [84.67376599822569]
我々は、様々な利害リスク対策をレビューし、その特性についてコメントする。
我々は,探索と探索のトレードオフが現れる,後悔の最小化設定のためのアルゴリズムを検討する。
今後の研究の課題と肥大化についてコメントし、締めくくりに締めくくります。
論文 参考訳(メタデータ) (2022-05-12T02:20:34Z) - Risk Sensitive Model-Based Reinforcement Learning using Uncertainty
Guided Planning [0.0]
本稿では,モデルに基づく強化学習アルゴリズムでリスク感度を向上する。
本研究では,高分散状態予測をもたらす行動系列を解析する不確実性誘導型クロスエントロピー法計画を提案する。
実験では、エージェントが計画中の状態空間の不確実な領域を識別し、エージェントを高い信頼領域内に保持する行動をとる能力を示す。
論文 参考訳(メタデータ) (2021-11-09T07:28:00Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳(メタデータ) (2020-06-15T05:25:02Z) - Dirichlet uncertainty wrappers for actionable algorithm accuracy
accountability and auditability [0.5156484100374058]
本研究では,不確実性の尺度を用いて出力予測を充実させるラッパーを提案する。
結果の不確実性に基づいて、より確実な予測を選択する拒絶制度を提唱する。
その結果,ラッパーが計算した不確実性の有効性が示された。
論文 参考訳(メタデータ) (2019-12-29T11:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。