論文の概要: Structural Limits of the Information-Theoretic Uncertainty Decomposition
- arxiv url: http://arxiv.org/abs/2609.39591v1
- Date: Wed, 30 Sep 2026 12:16:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.684086
- Title: Structural Limits of the Information-Theoretic Uncertainty Decomposition
- Title（参考訳）: 情報理論の不確実性分解の構造限界
- Abstract要約: 機械学習における不確実性推定は、典型的には不確かさをアレタリック不確実性(AU)とてんかん不確実性(EU)に分解する
我々はこのフレームワークを機能レベルで分析し、仮定されたAU, EUの範囲のかなりの部分が有限な設定では実現できないことを発見した。
- 参考スコア（独自算出の注目度）: 8.952491535016444
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty estimation in machine learning typically decomposes uncertainty into aleatoric uncertainty (AU) and epistemic uncertainty (EU) using the standard information-theoretic framework. However, in practice, two critical issues arise: entanglement (AU and EU are highly correlated) and epistemic collapse (EU magnitude shrinks with increasing model capacity). We analyze this framework on a functional level and discover that significant portions of the assumed AU, EU range are infeasible in finite settings, and cannot be attained with any class probabilities. We characterize how this infeasible region scales with the number of classes and Monte Carlo samples $N$ (e.g., from ensembles with $N$ members), revealing it is bounded by $\text{AU} \leq \log(2)/N$. Crucially, the infeasible region's boundary helps explain epistemic collapse: when model confidence is high, $\text{AU} > \text{EU}$ is guaranteed by this fundamental structural limitation. Our findings show that increasing ensemble size mitigates epistemic collapse by reducing the infeasible area. Lastly, we caution against interpreting AU and EU as independent quantities in low AU regimes, since we show they are coupled when $\text{AU} \leq \log(2)/N$.
- Abstract（参考訳）: 機械学習における不確実性推定は、通常、標準的な情報理論の枠組みを用いて、不確実性をアレタリック不確実性(AU)とてんかん不確実性(EU)に分解する。
しかし実際には、絡み合い(AUとEUは高い相関関係にある)とてんかん崩壊(EUの規模はモデル容量の増加とともに縮小する)という2つの重要な問題が発生する。
我々はこのフレームワークを機能レベルで分析し、仮定されたAU, EUの範囲のかなりの部分が有限設定では実現不可能であり、クラス確率で達成できないことを発見した。
この実現不可能な領域がクラスの数でどのようにスケールするかを特徴付け、Monte Carlo は$N$ (e g , from ensembles with $N$ members) をサンプリングし、$\text{AU} \leq \log(2)/N$ で束縛されていることを明らかにした。
モデル信頼度が高い場合、$\text{AU} > \text{EU}$ は、この基本的な構造的制限によって保証される。
以上の結果より, アンサンブルサイズの増加は, 難治領域を減らし, てんかんの崩壊を引き起こすことが示唆された。
最後に、AU と EU を低 AU 体制の独立量と解釈することを注意し、$\text{AU} \leq \log(2)/N$ が結合していることを示す。
関連論文リスト
- State-independent uncertainty relations on multipartite spin $1/2$-systems [0.0]
不確実性関係は、量子可観測物の同時測定に関する基本的な限界を定量化する。
我々は,集合スピン=tfrac12$システムにおける多部SIURの表現論的フレームワークを開発する。
これらの結果は、量子アンサンブルにおける多部分散に基づくSIURに対する最初の統一的代数的フレームワークを確立する。
論文 参考訳（メタデータ） (2026-07-15T21:28:02Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Variational Inference for Evidential Deep Learning [69.9353638875714]
数学的に原理化されたフレームワークである変分推論証拠深層学習(VI-EDL)を提案する。
VI-EDLは、分布外検出、ノイズ検出、自律運転シナリオにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2026-05-26T02:32:59Z) - Complementing Self-Consistency with Cross-Model Disagreement for Uncertainty Quantification [41.04503562937318]
大規模言語モデル(LLM)は、しばしば自信を持って不正確な応答を生成する。
AU(aleatoric uncertainty)を推定するための自己整合性は、モデルが過信されているときに崩壊する。
AUが低い場合, モデル間のセマンティックな不一致が, 正確な解に対して高いことを示す。
論文 参考訳（メタデータ） (2026-04-18T19:00:27Z) - Rethinking Uncertainty Quantification and Entanglement in Image Segmentation [8.952491535016444]
不確実性(UQ)は、医療画像セグメンテーションのような安全上重要な応用において重要である。
AU(確率的UNet、拡散など)やEU(アンサンブル、MCDropoutなど)のモデリングには多くの方法があるが、どのように相互作用するかは定かではない。
本稿では、幅広いAU-EUモデルの組み合わせを網羅した総合的な実証研究を行い、不確実性の絡み合いを定量化するための指標を提案し、下流UQタスクの両方を評価する。
論文 参考訳（メタデータ） (2026-03-19T11:43:26Z) - Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise [10.844819221753042]
我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。
i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。
我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
論文 参考訳（メタデータ） (2025-10-10T21:57:18Z) - Cross-World Assumption and Refining Prediction Intervals for Individual Treatment Effects [6.083038976289835]
高い意思決定のためには、個々の治療効果の推定には有効な予測間隔が伴わなければならない。
高い意思決定のためには、個々の治療効果の推定には有効な予測間隔が伴わなければならない。
論文 参考訳（メタデータ） (2025-07-16T18:58:18Z) - Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence [46.548276232795466]
多意味性は言語モデルに広く浸透しており、解釈とモデル行動制御の大きな課題である。
2つの小さなモデルの多意味的トポロジをマッピングし、意味的に無関係だがモデル内の干渉を示す特徴対を同定する。
我々は4つのloci(prompt, token, feature, neuron)に介入し、次のトーケン予測分布における変化を計測し、これらのモデルに体系的な脆弱性を露呈する多意味構造を明らかにする。
論文 参考訳（メタデータ） (2025-05-16T18:20:42Z) - A Robustness Analysis of Blind Source Separation [91.3755431537592]
ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。
このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。
定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
論文 参考訳（メタデータ） (2023-03-17T16:30:51Z) - Excess risk analysis for epistemic uncertainty with application to
variational inference [110.4676591819618]
我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。
一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。
本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
論文 参考訳（メタデータ） (2022-06-02T12:12:24Z) - Problem Dependent View on Structured Thresholding Bandit Problems [73.70176003598449]
我々は、Thresholding Bandit problem (TBP)における問題依存体制について検討する。
学習者の目的は、シーケンシャルゲームの終わりに、所定のしきい値を超える手段を持つアームセットを出力することである。
コンケーブ設定と単調設定の両方で誤差の確率を上下に設定する。
論文 参考訳（メタデータ） (2021-06-18T15:01:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。