論文の概要: Uncertainty-Aware Attention Heads: Efficient Unsupervised Uncertainty Quantification for LLMs

• arxiv url: http://arxiv.org/abs/2505.20045v1
• Date: Mon, 26 May 2025 14:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.511312
• Title: Uncertainty-Aware Attention Heads: Efficient Unsupervised Uncertainty Quantification for LLMs
• Title（参考訳）: 不確かさを意識した注意頭:LLMの効率的な教師なし不確実性定量化
• Authors: Artem Vazhentsev, Lyudmila Rvanova, Gleb Kuzmin, Ekaterina Fadeeva, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Timothy Baldwin, Mrinmaya Sachan, Preslav Nakov, Artem Shelmanov,
• Abstract要約: 大型言語モデル(LLM)は、顕著な流布を示すが、しばしば「幻覚」として知られる致命的な誤りを引き起こす。 本稿では,非教師的アプローチであるRAUQ(Recurrent Attention-based Uncertainty Quantification)を提案する。 4つのLLMと12の質問応答、要約、翻訳タスクにわたる実験は、RAUQが優れた結果をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 114.46334319795785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit impressive fluency, but often produce critical errors known as "hallucinations". Uncertainty quantification (UQ) methods are a promising tool for coping with this fundamental shortcoming. Yet, existing UQ methods face challenges such as high computational overhead or reliance on supervised learning. Here, we aim to bridge this gap. In particular, we propose RAUQ (Recurrent Attention-based Uncertainty Quantification), an unsupervised approach that leverages intrinsic attention patterns in transformers to detect hallucinations efficiently. By analyzing attention weights, we identified a peculiar pattern: drops in attention to preceding tokens are systematically observed during incorrect generations for certain "uncertainty-aware" heads. RAUQ automatically selects such heads, recurrently aggregates their attention weights and token-level confidences, and computes sequence-level uncertainty scores in a single forward pass. Experiments across 4 LLMs and 12 question answering, summarization, and translation tasks demonstrate that RAUQ yields excellent results, outperforming state-of-the-art UQ methods using minimal computational overhead (<1% latency). Moreover, it requires no task-specific labels and no careful hyperparameter tuning, offering plug-and-play real-time hallucination detection in white-box LLMs.
• Abstract（参考訳）: 大型言語モデル(LLM)は、顕著な流感を示すが、しばしば「幻覚」と呼ばれる致命的な誤りを引き起こす。 不確実性定量化(UQ)手法はこの根本的な欠点に対処するための有望なツールである。 しかし、既存のUQ手法では、高い計算オーバーヘッドや教師あり学習への依存といった課題に直面している。 ここでは、このギャップを埋めることを目指しています。 特にRAUQ(Recurrent Attention-based Uncertainty Quantification)を提案する。これは、トランスフォーマにおける固有の注意パターンを利用して、幻覚を効率的に検出する教師なしの手法である。 注意重みを解析することにより、特定の「不確かさを認識した」頭部に対して、前者のトークンに対する注意の低下が、不正確な世代の間に体系的に観察されるという特異なパターンを同定した。 RAUQはこれらのヘッドを自動的に選択し、注意重みとトークンレベルの信頼度を繰り返し集計し、シーケンスレベルの不確実性スコアを1回のフォワードパスで計算する。 4つのLLMと12の質問応答、要約、翻訳タスクにわたる実験により、RAUQは計算オーバーヘッドを最小限に抑える(1%レイテンシ)、最先端のUQ手法よりも優れた結果が得られることが示された。 さらに、タスク固有のラベルを必要とせず、注意深いハイパーパラメータチューニングも必要とせず、ホワイトボックスLSMのプラグアンドプレイによる幻覚検出を提供する。

関連論文リスト

• A Head to Predict and a Head to Question: Pre-trained Uncertainty Quantification Heads for Hallucination Detection in LLM Outputs [71.97006967209539]
  大規模言語モデル(LLM)は幻覚、すなわち、散発的に偽情報や偽情報を生成する傾向を持つ。 不確実性定量化(UQ)は、モデル出力の信頼性を評価するためのフレームワークを提供する。 我々は、Mistral、Llama、Gemma 2など、人気のあるLLMシリーズ向けのUQヘッドのコレクションを事前訓練する。
  論文  参考訳（メタデータ） (2025-05-13T03:30:26Z)
• Language Model Uncertainty Quantification with Attention Chain [9.093726246465117]
  大きな言語モデル(LLM)の予測の不確実性は、その答えの信頼性を判断するために重要である。 UQACは,推論空間をトラクタブルなサイズに縮小し,限界化を実現するための効率的な手法である。 先進的なオープンソース LLM を用いた複数の推論ベンチマークにおいて,UQAC の有効性を検証した。
  論文  参考訳（メタデータ） (2025-03-24T21:43:47Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。