論文の概要: On the Need to Align Intent and Implementation in Uncertainty Quantification for Machine Learning
- arxiv url: http://arxiv.org/abs/2506.03037v1
- Date: Tue, 03 Jun 2025 16:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:09.442755
- Title: On the Need to Align Intent and Implementation in Uncertainty Quantification for Machine Learning
- Title（参考訳）: 機械学習のための不確実性定量化におけるインテントのアライメントと実装の必要性について
- Authors: Shubhendu Trivedi, Brian D. Nord,
- Abstract要約: 機械学習(ML)モデルの不確実性を定量化することは、現代のデータ分析における基礎的な課題である。
本稿では,これらの不整合を識別し,異なるコンテキストが異なる要求を課すかを明らかにすることによって,これらの課題の深さを明らかにすることを目的とする。
- 参考スコア（独自算出の注目度）: 6.368871731116769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Quantifying uncertainties for machine learning (ML) models is a foundational challenge in modern data analysis. This challenge is compounded by at least two key aspects of the field: (a) inconsistent terminology surrounding uncertainty and estimation across disciplines, and (b) the varying technical requirements for establishing trustworthy uncertainties in diverse problem contexts. In this position paper, we aim to clarify the depth of these challenges by identifying these inconsistencies and articulating how different contexts impose distinct epistemic demands. We examine the current landscape of estimation targets (e.g., prediction, inference, simulation-based inference), uncertainty constructs (e.g., frequentist, Bayesian, fiducial), and the approaches used to map between them. Drawing on the literature, we highlight and explain examples of problematic mappings. To help address these issues, we advocate for standards that promote alignment between the \textit{intent} and \textit{implementation} of uncertainty quantification (UQ) approaches. We discuss several axes of trustworthiness that are necessary (if not sufficient) for reliable UQ in ML models, and show how these axes can inform the design and evaluation of uncertainty-aware ML systems. Our practical recommendations focus on scientific ML, offering illustrative cases and use scenarios, particularly in the context of simulation-based inference (SBI).
- Abstract（参考訳）: 機械学習(ML)モデルの不確実性を定量化することは、現代のデータ分析における基礎的な課題である。
この課題は、フィールドの少なくとも2つの重要な側面によって複雑化されます。
(a)諸分野にわたる不確実性及び推定を取り巻く矛盾した用語
(b)諸問題文脈における信頼に値する不確実性を確立するための様々な技術的要件。
本稿では,これらの不整合を識別し,異なる文脈が異なるてんかんの要求をどう課すかを明らかにすることによって,これらの課題の深さを明らかにすることを目的とする。
本研究では,推定対象(予測,推測,シミュレーションベース推論),不確実性構造(例えば,頻繁性,ベイズ的,フィデューシャル),およびそれらの間のマップに使用されるアプローチについて検討する。
文献に基づいて、問題のあるマッピングの例を取り上げ、解説する。
これらの問題に対処するために、我々は、不確実量化(UQ)アプローチの \textit{intent} と \textit{implementation} の整合性を促進する標準を提唱する。
本稿では、MLモデルにおいて信頼性の高いUQに必要な信頼性の軸について論じ、これらの軸が不確実性を考慮したMLシステムの設計と評価にどのように役立つかを示す。
我々は,特にシミュレーションベース推論(SBI)の文脈において,実例と利用シナリオを提供する科学的MLに重点を置いている。
関連論文リスト
- A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation [0.0]
画像セグメンテーションの進歩は、ディープラーニングベースのコンピュータビジョンの幅広い範囲において重要な役割を担っている。
この文脈において不確かさの定量化が広く研究され、モデル無知(エピステミック不確実性)やデータあいまいさ(アラート不確実性)を表現し、不正な意思決定を防ぐことができる。
論文 参考訳（メタデータ） (2024-11-25T13:26:09Z) - Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models [42.563558441750224]
大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。
現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。
本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
論文 参考訳（メタデータ） (2024-10-26T15:07:15Z) - A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。
本稿では,アプローチから導いた不確実性推定手法を分類する。
また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
論文 参考訳（メタデータ） (2024-10-20T07:55:44Z) - Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。
確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。
このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
論文 参考訳（メタデータ） (2024-08-16T09:43:01Z) - Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
視覚言語AIシステムに特有の不確実性の分類法を提案する。
また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
論文 参考訳（メタデータ） (2024-07-02T04:23:54Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - VC Search: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [46.25056744404318]
5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。
VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
論文 参考訳（メタデータ） (2024-06-07T16:24:12Z) - A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning [0.8667724053232616]
我々は、リスクに敏感なアプリケーション、すなわち不確実性を理解し、定量化するアプリケーションにおいて、機械学習を適応するための重要な関心事に焦点を当てる。
本稿では,このトピックを構造化した方法でアプローチし,不確実性がMLプロセスに封入されているというさまざまな側面の文献をレビューする。
このレビューの主な貢献は、不確実性議論の範囲を広げ、Deep Learningにおける不確実性定量化手法のレビューを更新することである。
論文 参考訳（メタデータ） (2024-06-01T07:17:38Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。