論文の概要: An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms
- arxiv url: http://arxiv.org/abs/2603.29466v1
- Date: Tue, 31 Mar 2026 09:13:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.438103
- Title: An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms
- Title（参考訳）: 勾配ノルムを用いた効率的な不確かさ量子化への等方的アプローチ
- Authors: Nils Grünefeld, Jes Frellsen, Christian Hardmeier,
- Abstract要約: 本稿では,ニューラルネットワークの予測不確実性を定量化する軽量な手法を提案する。
予測の勾配における不確実性を表現する一階テイラー展開とパラメータ共分散に関する等方性仮定の2つの近似を用いる。
次に,各不確実性型が解答正解の予測に有用であるかどうかを,大言語モデルを用いて検討する。
- 参考スコア（独自算出の注目度）: 7.439615448864818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing methods for quantifying predictive uncertainty in neural networks are either computationally intractable for large language models or require access to training data that is typically unavailable. We derive a lightweight alternative through two approximations: a first-order Taylor expansion that expresses uncertainty in terms of the gradient of the prediction and the parameter covariance, and an isotropy assumption on the parameter covariance. Together, these yield epistemic uncertainty as the squared gradient norm and aleatoric uncertainty as the Bernoulli variance of the point prediction, from a single forward-backward pass through an unmodified pretrained model. We justify the isotropy assumption by showing that covariance estimates built from non-training data introduce structured distortions that isotropic covariance avoids, and that theoretical results on the spectral properties of large networks support the approximation at scale. Validation against reference Markov Chain Monte Carlo estimates on synthetic problems shows strong correspondence that improves with model size. We then use the estimates to investigate when each uncertainty type carries useful signal for predicting answer correctness in question answering with large language models, revealing a benchmark-dependent divergence: the combined estimate achieves the highest mean AUROC on TruthfulQA, where questions involve genuine conflict between plausible answers, but falls to near chance on TriviaQA's factual recall, suggesting that parameter-level uncertainty captures a fundamentally different signal than self-assessment methods.
- Abstract（参考訳）: ニューラルネットワークにおける予測の不確実性を定量化する既存の方法は、大規模言語モデルでは計算的に難解であるか、通常利用できないトレーニングデータへのアクセスを必要とする。
予測の勾配とパラメータ共分散の勾配における不確実性を表現する一階テイラー展開と、パラメータ共分散に関する等方性仮定という2つの近似を用いて、軽量な代替法を導出する。
これらを合わせて、二乗勾配ノルムとして、および点予測のベルヌーイ分散として、単一の前方後方通過から未修正の事前学習モデルを通るアレタリック不確実性が得られる。
我々は、非学習データから構築された共分散推定が等方的共分散を回避する構造的歪みを導入し、大規模ネットワークのスペクトル特性に関する理論的結果が大規模近似を支持することを示すことにより、等方性仮定を正当化する。
合成問題に対するマルコフ・チェイン・モンテカルロの推定に対する検証は、モデルサイズによって改善される強い対応を示す。
次に、各不確実性型が、大きな言語モデルで答えの正当性を予測するための有用な信号を持ち、ベンチマーク依存のばらつきを露呈する: 組み合わせた見積もりは、TruthfulQA上のAUROCの最高平均を達成し、そこでは、真にプラウシブルな回答間の競合が関係するが、TriviaQAの事実的リコールに準じる確率は低く、パラメータレベルの不確実性は、自己評価法と根本的に異なる信号を取得することを示唆する。
関連論文リスト
- Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。
また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。
これらの問題に対処するディープコックス推定器の分布理論を開発する。
論文 参考訳（メタデータ） (2026-03-25T01:43:12Z) - Practical Deep Heteroskedastic Regression [15.023152666894049]
ターゲットの不確かさが入力に依存するヘテロスケダスティック回帰では、予測分布の平均と分散をパラメータ化するニューラルネットワークを訓練する。
本稿では,事前学習したネットワークの中間層に分散モデルを適用することで,これらの課題に協調的に対処する,シンプルで効率的な手法を提案する。
提案手法は, 平均予測精度を損なうことなく, 予測時に安価に使用できることを示す。
論文 参考訳（メタデータ） (2026-03-02T11:19:32Z) - Uncertainty Estimation using Variance-Gated Distributions [0.6340400318304492]
クラス確率分布の信号対雑音比に基づく不確実性推定と分解のための直感的なフレームワークを提案する。
本稿では,アンサンブルから導かれる信頼因子による予測をスケールする分散化指標を提案する。
論文 参考訳（メタデータ） (2025-09-07T16:19:21Z) - Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。
本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-01T09:13:27Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳（メタデータ） (2023-09-15T22:06:29Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Uncertainty Quantification for Traffic Forecasting: A Unified Approach [21.556559649467328]
不確実性は時系列予測タスクに不可欠な考慮事項である。
本研究では,交通予測の不確かさの定量化に焦点をあてる。
STUQ(Deep S-Temporal Uncertainity Quantification)を開発した。
論文 参考訳（メタデータ） (2022-08-11T15:21:53Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - CovarianceNet: Conditional Generative Model for Correct Covariance
Prediction in Human Motion Prediction [71.31516599226606]
本稿では,将来の軌道の予測分布に関連する不確かさを正確に予測する手法を提案する。
我々のアプローチであるCovariaceNetは、ガウス潜在変数を持つ条件付き生成モデルに基づいている。
論文 参考訳（メタデータ） (2021-09-07T09:38:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。