論文の概要: UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2602.02952v1
• Date: Tue, 03 Feb 2026 00:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.159125
• Title: UAT-LITE: Inference-Time Uncertainty-Aware Attention for Pretrained Transformers
• Title（参考訳）: UAT-LITE:事前学習した変圧器の推論時不確かさ認識
• Authors: Elias Hossain, Shubhashis Roy Dipta, Subash Neupane, Rajib Rana, Ravid Shwartz-Ziv, Ivan Garibay, Niloofar Yousefi,
• Abstract要約: UAT-LITEは、自己アテンションの不確実性を認識させる推論時フレームワークである。 これは、細調整されたBERTベースラインと比較して平均で予測エラーを約20%削減する。 分散シフトの下で選択的な予測とロバスト性を改善する。
• 参考スコア（独自算出の注目度）: 11.741258610945259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural NLP models are often miscalibrated, assigning high confidence to incorrect predictions, which undermines selective prediction and high-stakes deployment. Post-hoc calibration methods adjust output probabilities but leave internal computation unchanged, while ensemble and Bayesian approaches improve uncertainty at substantial training or storage cost. We propose UAT-LITE, an inference-time framework that makes self-attention uncertainty-aware using approximate Bayesian inference via Monte Carlo dropout in pretrained transformer classifiers. Token-level epistemic uncertainty is estimated from stochastic forward passes and used to modulate self-attention during contextualization, without modifying pretrained weights or training objectives. We additionally introduce a layerwise variance decomposition to diagnose how predictive uncertainty accumulates across transformer depth. Across the SQuAD 2.0 answerability, MNLI, and SST-2, UAT-LITE reduces Expected Calibration Error by approximately 20% on average relative to a fine-tuned BERT-base baseline while preserving task accuracy, and improves selective prediction and robustness under distribution shift.
• Abstract（参考訳）: ニューラルNLPモデルは、しばしば誤校正され、誤った予測に高い信頼を割り当て、選択的な予測や高いデプロイメントを損なう。 ポストホック校正法は出力確率を調整するが、内部計算は変わらないままであり、アンサンブルとベイジアンアプローチは相当な訓練や貯蔵コストで不確実性を改善する。 UAT-LITEは,事前学習された変圧器分類器におけるモンテカルロ・ドロップアウトによる近似ベイズ推論を用いて,自己注意不確かさを認識できるフレームワークである。 確率的前方通過から気質レベルの不確実性を推定し、事前訓練された体重や訓練目的を変更することなく、文脈化中の自己注意を調節するために使用される。 さらに, 変圧器の深さにわたって, 予測の不確かさがどのように蓄積するかを診断するために, 層状分散分解を導入する。 SQuAD 2.0応答性、MNLI、SST-2全体で、UAT-LITEは、タスク精度を維持しながら細調整されたBERTベースラインに対して平均で約20%のキャリブレーション誤差を低減し、分配シフト時の選択的予測と堅牢性を改善する。

関連論文リスト

• CATTO: Balancing Preferences and Confidence in Language Models [4.678970068275123]
  大規模言語モデル(LLM)は、しばしば正確な次のトークン予測を行うが、これらの予測に対する信頼度は不十分である。 本稿では,予測信頼度と経験的予測正しさを一致させる予測キャリブレーションを意識した目標を提案する。 出力トークンのベイズ最適選択に校正トークン確率を活用するテスト時間スケーリング機構であるConfidence@kを導入する。
  論文  参考訳（メタデータ） (2026-01-30T15:43:38Z)
• Uncertainty-Aware Post-Hoc Calibration: Mitigating Confidently Incorrect Predictions Beyond Calibration Metrics [6.9681910774977815]
  本稿では、校正品質と不確実性を考慮した意思決定を向上させるためのポストホック校正フレームワークを提案する。 校正基準,不確実性認識性能測定,実証的コンフォメーションカバレッジを用いて総合評価を行った。 実験により,提案手法はイソトニックおよび焦点損失ベースラインと比較して,信頼性の低い予測精度と競合予測誤差を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-19T23:55:36Z)
• Uncertainty-Driven Reliability: Selective Prediction and Trustworthy Deployment in Modern Machine Learning [1.2183405753834562]
  この論文は、不確実性推定が機械学習(ML)システムの安全性と信頼性を高める方法について考察する。 まず、モデルのトレーニング軌道は、アーキテクチャの変更や損失を伴わずに活用できるような、豊富な不確実性信号を含むことを示す。 本稿では,タスク間で動作し,深層アンサンブルのコストを回避し,最先端の選択的予測性能を実現する軽量なポストホック禁忌手法を提案する。
  論文  参考訳（メタデータ） (2025-08-11T02:33:53Z)
• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。