論文の概要: Towards Clear Expectations for Uncertainty Estimation
- arxiv url: http://arxiv.org/abs/2207.13341v1
- Date: Wed, 27 Jul 2022 07:50:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-28 13:46:18.623917
- Title: Towards Clear Expectations for Uncertainty Estimation
- Title(参考訳): 不確実性推定への明確な期待に向けて
- Authors: Victor Bouvier, Simona Maggio, Alexandre Abraham, L\'eo
Dreyfus-Schmidt
- Abstract要約: 不確実性定量化(UQ)は、信頼できる機械学習(ML)を実現するために不可欠である
ほとんどのUQ手法は、異なる不整合評価プロトコルに悩まされている。
この意見書は、これらの要件を5つの下流タスクを通して指定することで、新たな視点を提供する。
- 参考スコア(独自算出の注目度): 64.20262246029286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: If Uncertainty Quantification (UQ) is crucial to achieve trustworthy Machine
Learning (ML), most UQ methods suffer from disparate and inconsistent
evaluation protocols. We claim this inconsistency results from the unclear
requirements the community expects from UQ. This opinion paper offers a new
perspective by specifying those requirements through five downstream tasks
where we expect uncertainty scores to have substantial predictive power. We
design these downstream tasks carefully to reflect real-life usage of ML
models. On an example benchmark of 7 classification datasets, we did not
observe statistical superiority of state-of-the-art intrinsic UQ methods
against simple baselines. We believe that our findings question the very
rationale of why we quantify uncertainty and call for a standardized protocol
for UQ evaluation based on metrics proven to be relevant for the ML
practitioner.
- Abstract(参考訳): 不確実性定量化(UQ)が、信頼できる機械学習(ML)を実現するために重要である場合、ほとんどのUQメソッドは、異なる、一貫性のない評価プロトコルに悩まされる。
この矛盾は、コミュニティがUQに期待する不明確な要求によるものだと我々は主張する。
本意見書は,不確実性スコアが実質的な予測力を持つことを期待する5つの下流タスクを通じて,これらの要件を規定することによって,新たな視点を提供する。
我々はこれらの下流タスクを慎重に設計し、MLモデルの実際の使用状況を反映する。
7つの分類データセットの例では, 単純なベースラインに対して, 最先端の固有UQ手法の統計的優位性を観測しなかった。
我々は、不確実性が定量化される理由の理論的根拠に疑問を呈し、ml実践者にとって有益であることが証明されたメトリクスに基づくuq評価の標準化プロトコルを求める。
関連論文リスト
- Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form
Medical Question Answering Applications and Beyond [63.969531254692725]
不確実性推定は、安全クリティカルな人間とAIのインタラクションシステムの信頼性を確保する上で重要な役割を果たす。
本稿では,ワードシーケンスエントロピー(WSE, Word-Sequence Entropy)を提案する。
We show that WSE exhibits excellent performance on accurate uncertainty Measurement under two standard criteria for correctness evaluation。
論文 参考訳(メタデータ) (2024-02-22T03:46:08Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳(メタデータ) (2023-11-26T22:47:54Z) - Perceptual adjustment queries and an inverted measurement paradigm for
low-rank metric learning [22.7492766005919]
我々は、知覚調整クエリ(PAQ)と呼ばれる、人間のフィードバックを収集する新しいタイプのクエリメカニズムを導入する。
情報的にも認知的にも軽量であるため、PAQは逆測定方式を採用し、基数クエリと順序クエリの両方の利点を組み合わせている。
本研究では,PAQからのメトリック学習のための2段階推定器を開発し,この推定器の複雑さの保証を行う。
論文 参考訳(メタデータ) (2023-09-08T22:36:33Z) - Comparing the quality of neural network uncertainty estimates for
classification problems [0.0]
深層学習(DL)モデルに対する不確実性定量化(UQ)手法は,本研究で注目されている。
我々は,信頼区間の品質を評価するために,頻繁な区間範囲と区間幅の統計的手法を用いる。
本稿では、これらの異なるUQ for DL法をハイパースペクトル画像目標検出問題に適用し、異なる手法の結果の不整合を示す。
論文 参考訳(メタデータ) (2023-08-11T01:55:14Z) - Adaptive Conformal Prediction by Reweighting Nonconformity Score [0.0]
我々は、QRF(Quantile Regression Forest)を用いて、不整合スコアの分布を学習し、QRFの重みを利用して、テストポイントに類似した残差を持つサンプルにより重要度を割り当てる。
提案手法は,仮定のない有限標本境界範囲と訓練条件範囲を満足し,適切な仮定の下で条件付き範囲を確保できる。
論文 参考訳(メタデータ) (2023-03-22T16:42:19Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳(メタデータ) (2021-03-04T20:51:03Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳(メタデータ) (2021-01-08T11:56:12Z) - Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。
本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
論文 参考訳(メタデータ) (2020-11-16T06:51:55Z) - Uncertainty Quantification Using Neural Networks for Molecular Property
Prediction [33.34534208450156]
複数の相補的な性能指標を用いて,5つのベンチマークデータセット上で複数の手法を体系的に評価した。
テストしたどのメソッドも他のどのメソッドよりも絶対的に優れているわけではなく、複数のデータセットにまたがって特に信頼性の高いエラーランキングを生成するものもありません。
我々は,既存の技術が他とよく関係しているように見えるものについて,実践的な勧告で結論付けている。
論文 参考訳(メタデータ) (2020-05-20T13:31:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。