論文の概要: UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2602.02952v1
• Date: Tue, 03 Feb 2026 00:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.159125
• Title: UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers
• Title（参考訳）: UAT-LITE:事前学習した変圧器の推論時不確かさ認識
• Authors: Elias Hossain, Shubhashis Roy Dipta, Subash Neupane, Rajib Rana, Ravid Shwartz-Ziv, Ivan Garibay, Niloofar Yousefi,
• Abstract要約: UAT-LITEは、自己アテンションの不確実性を認識させる推論時フレームワークである。 これは、細調整されたBERTベースラインと比較して平均で予測エラーを約20%削減する。 分散シフトの下で選択的な予測とロバスト性を改善する。
• 参考スコア（独自算出の注目度）: 11.741258610945259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural NLP models are often miscalibrated, assigning high confidence to incorrect predictions, which undermines selective prediction and high-stakes deployment. Post-hoc calibration methods adjust output probabilities but leave internal computation unchanged, while ensemble and Bayesian approaches improve uncertainty at substantial training or storage cost. We propose UAT-LITE, an inference-time framework that makes self-attention uncertainty-aware using approximate Bayesian inference via Monte Carlo dropout in pretrained transformer classifiers. Token-level epistemic uncertainty is estimated from stochastic forward passes and used to modulate self-attention during contextualization, without modifying pretrained weights or training objectives. We additionally introduce a layerwise variance decomposition to diagnose how predictive uncertainty accumulates across transformer depth. Across the SQuAD 2.0 answerability, MNLI, and SST-2, UAT-LITE reduces Expected Calibration Error by approximately 20% on average relative to a fine-tuned BERT-base baseline while preserving task accuracy, and improves selective prediction and robustness under distribution shift.
• Abstract（参考訳）: ニューラルNLPモデルは、しばしば誤校正され、誤った予測に高い信頼を割り当て、選択的な予測や高いデプロイメントを損なう。 ポストホック校正法は出力確率を調整するが、内部計算は変わらないままであり、アンサンブルとベイジアンアプローチは相当な訓練や貯蔵コストで不確実性を改善する。 UAT-LITEは,事前学習された変圧器分類器におけるモンテカルロ・ドロップアウトによる近似ベイズ推論を用いて,自己注意不確かさを認識できるフレームワークである。 確率的前方通過から気質レベルの不確実性を推定し、事前訓練された体重や訓練目的を変更することなく、文脈化中の自己注意を調節するために使用される。 さらに, 変圧器の深さにわたって, 予測の不確かさがどのように蓄積するかを診断するために, 層状分散分解を導入する。 SQuAD 2.0応答性、MNLI、SST-2全体で、UAT-LITEは、タスク精度を維持しながら細調整されたBERTベースラインに対して平均で約20%のキャリブレーション誤差を低減し、分配シフト時の選択的予測と堅牢性を改善する。

関連論文リスト

• Direct Learning of Calibration-Aware Uncertainty for Neural PDE Surrogates [0.0]
  相互規則化された不確実性は、保持された正規化分割を経由した経路を用いた訓練中の不確実性パラメータを学習する。 予測器はトレーニングスプリットに適合するように最適化され、低次元の不確実性制御は正規化スプリットに最適化され、列車テストミスマッチを低減する。 フーリエ・ニューラル・オペレーターのアプローチをインスタンス化し、観測された分数およびトレーニングセットのサイズに対して APEBench sweeps の評価を行う。
  論文  参考訳（メタデータ） (2026-02-11T17:57:20Z)
• CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
  大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。 本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。 出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
  論文  参考訳（メタデータ） (2026-01-30T15:43:38Z)
• Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
  本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。 校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。 実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-19T23:55:36Z)
• Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
  この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。 まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。 本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T02:33:53Z)
• Efficient Post-Hoc Uncertainty Calibration via Variance-Based Smoothing [0.810304644344495]
  従来のディープニューラルネットワークにおいて,事前情報の導入が不確実性推定を改善するか否かを検討する。 私たちの焦点は、入力のサブ部分から意味のある予測ができる機械学習タスクです。
  論文  参考訳（メタデータ） (2025-03-19T16:47:15Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Optimal Change-Point Detection with Training Sequences in the Large and Moderate Deviations Regimes [72.68201611113673]
  本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。 基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
  論文  参考訳（メタデータ） (2020-03-13T23:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。