論文の概要: Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning

• arxiv url: http://arxiv.org/abs/2109.04432v1
• Date: Thu, 9 Sep 2021 17:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:25:27.229694
• Title: Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning
• Title（参考訳）: モデル非依存不確実性学習によるテスト時の障害リスクの検出と軽減
• Authors: Preethi Lahoti, Krishna P. Gummadi, and Gerhard Weikum
• Abstract要約: 本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。 リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。 ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
• 参考スコア（独自算出の注目度）: 30.86992077157326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliably predicting potential failure risks of machine learning (ML) systems when deployed with production data is a crucial aspect of trustworthy AI. This paper introduces Risk Advisor, a novel post-hoc meta-learner for estimating failure risks and predictive uncertainties of any already-trained black-box classification model. In addition to providing a risk score, the Risk Advisor decomposes the uncertainty estimates into aleatoric and epistemic uncertainty components, thus giving informative insights into the sources of uncertainty inducing the failures. Consequently, Risk Advisor can distinguish between failures caused by data variability, data shifts and model limitations and advise on mitigation actions (e.g., collecting more data to counter data shift). Extensive experiments on various families of black-box classification models and on real-world and synthetic datasets covering common ML failure scenarios show that the Risk Advisor reliably predicts deployment-time failure risks in all the scenarios, and outperforms strong baselines.
• Abstract（参考訳）: プロダクションデータでデプロイされたマシンラーニング(ML)システムの潜在的な障害リスクを確実に予測することは、信頼できるAIの重要な側面である。 本稿では,すでにトレーニング済みのブラックボックス分類モデルの障害リスクと予測の不確実性を推定する,新しいポストホックメタリーナーであるリスクアドバイザを紹介する。 リスクスコアの提供に加えて、リスクアドバイザリは不確実性推定をアレエータ的および認識的不確実性要素に分解し、失敗を誘発する不確実性の原因に関する有益な洞察を与える。 その結果、リスクアドバイザは、データ変数、データシフト、モデル制限による障害を区別し、緩和アクション(例えば、データシフトに対応するためにより多くのデータを集める)をアドバイスすることができる。 ブラックボックス分類モデルや、一般的なML障害シナリオをカバーする実世界および合成データセットのさまざまなファミリーに関する大規模な実験は、リスクアドバイザーがすべてのシナリオにおけるデプロイメント時の障害リスクを確実に予測し、強力なベースラインを上回っていることを示している。

関連論文リスト

• Enhancing Data Quality through Self-learning on Imbalanced Financial Risk Data [11.910955398918444]
  本研究では、既存の金融リスクデータセットを強化するためのデータ前処理手法について検討する。 本稿では,(1)マイノリティクラスに特化された合成サンプルを生成すること,(2)バイナリフィードバックを用いてサンプルを精製すること,(3)擬似ラベルを用いた自己学習を行うこと,の3つを紹介する。 我々の実験は、より堅牢な金融リスク予測システムを開発する上で重要な要素であるマイノリティ・クラス・キャリブレーションの改善に焦点を当てたTriEnhanceの有効性を明らかにした。
  論文  参考訳（メタデータ） (2024-09-15T16:59:15Z)
• Data-Adaptive Tradeoffs among Multiple Risks in Distribution-Free Prediction [55.77015419028725]
  しきい値とトレードオフパラメータが適応的に選択された場合、リスクの有効な制御を可能にする手法を開発する。 提案手法は単調なリスクとほぼ単調なリスクをサポートするが,それ以外は分布的な仮定はしない。
  論文  参考訳（メタデータ） (2024-03-28T17:28:06Z)
• Predictive Uncertainty Quantification via Risk Decompositions for Strictly Proper Scoring Rules [7.0549244915538765]
  予測モデリングの不確かさは、しばしばアドホック法に依存する。 本稿では,統計的リスクを通じて不確実性を理解するための理論的アプローチを紹介する。 我々は、ポイントワイズリスクをベイズリスクと過剰リスクに分割する方法を示す。
  論文  参考訳（メタデータ） (2024-02-16T14:40:22Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Distribution-free risk assessment of regression-based machine learning algorithms [6.507711025292814]
  我々は回帰アルゴリズムとモデル予測の周囲に定義された区間内に存在する真のラベルの確率を計算するリスク評価タスクに焦点をあてる。 そこで,本研究では,正のラベルを所定の確率で含むことが保証される予測区間を提供する共形予測手法を用いてリスク評価問題を解決する。
  論文  参考訳（メタデータ） (2023-10-05T13:57:24Z)
• Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning [26.497229327357935]
  トラジェクティブサンプリングを用いたモデルベース強化学習におけるリスク管理手法を提案する。 実験により、不確実性の分離は、不確実かつ安全クリティカルな制御環境において、データ駆動型アプローチとうまく連携するために不可欠であることが示されている。
  論文  参考訳（メタデータ） (2023-09-11T16:10:58Z)
• A Generalized Unbiased Risk Estimator for Learning with Augmented Classes [70.20752731393938]
  ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。 理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
  論文  参考訳（メタデータ） (2023-06-12T06:52:04Z)
• Safe Deployment for Counterfactual Learning to Rank with Exposure-Based Risk Minimization [63.93275508300137]
  本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。 提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-26T15:54:23Z)
• Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning [0.0]
  本稿では,モデルに基づく強化学習アルゴリズムでリスク感度を向上する。 本研究では,高分散状態予測をもたらす行動系列を解析する不確実性誘導型クロスエントロピー法計画を提案する。 実験では、エージェントが計画中の状態空間の不確実な領域を識別し、エージェントを高い信頼領域内に保持する行動をとる能力を示す。
  論文  参考訳（メタデータ） (2021-11-09T07:28:00Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。