論文の概要: Hallucination Detection using Multi-View Attention Features

• arxiv url: http://arxiv.org/abs/2504.04335v1
• Date: Sun, 06 Apr 2025 03:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 02:25:39.945694
• Title: Hallucination Detection using Multi-View Attention Features
• Title（参考訳）: マルチビューアテンション特徴を用いた幻覚検出
• Authors: Yuya Ogasa, Yuki Arase,
• Abstract要約: 本研究では,大規模言語モデルの出力におけるトークンレベルの幻覚検出に取り組む。 我々は,各トークンが受ける平均的注意を補完する注目行列から特徴を抽出する。 これらの特徴はTransformerベースの分類器に入力され、トークンレベルの分類を行い、幻覚したスパンを識別する。
• 参考スコア（独自算出の注目度）: 9.156064716689833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study tackles token-level hallucination detection in outputs of large language models. Previous studies revealed that attention exhibits irregular patterns when hallucination occurs. Inspired by this, we extract features from the attention matrix that provide complementary views of (a) the average attention each token receives, which helps identify whether certain tokens are overly influential or ignored, (b) the diversity of attention each token receives, which reveals whether attention is biased toward specific subsets, and (c) the diversity of tokens a token attends to during generation, which indicates whether the model references a narrow or broad range of information. These features are input to a Transformer-based classifier to conduct token-level classification to identify hallucinated spans. Experimental results indicate that the proposed method outperforms strong baselines on hallucination detection with longer input contexts, i.e., data-to-text and summarization tasks.
• Abstract（参考訳）: 本研究では,大規模言語モデルの出力におけるトークンレベルの幻覚検出に取り組む。 以前の研究では、幻覚の発生時に注意が不規則なパターンを示すことが明らかとなった。 これに触発されて、我々は、補完的な視点を提供する注目行列から特徴を抽出する。 a) 各トークンが受ける平均的注意力は、特定のトークンが過度に影響しているか無視されているかを識別するのに役立つ。 b) 各トークンが受信する注目の多様性は、特定のサブセットに注意が偏っているか否かを明らかにし、 (c) トークンの多様性は、そのモデルが狭い範囲または広い範囲の情報を参照しているかどうかを示す、世代間のトークンの多様性を示す。 これらの特徴はTransformerベースの分類器に入力され、トークンレベルの分類を行い、幻覚したスパンを識別する。 実験結果から,提案手法はより長い入力コンテキスト,すなわちデータ・トゥ・テキストおよび要約タスクにおいて,幻覚検出の強いベースラインよりも優れていたことが示唆された。

関連論文リスト

• Robust Hallucination Detection in LLMs via Adaptive Token Selection [25.21763722332831]
  大きな言語モデル(LLM)の幻覚は、より広範なデプロイメントを妨げる重要な安全性上の懸念を引き起こす。 本研究では,適応的選択とクリティカルトークンの学習を通じて,幻覚の堅牢な検出を可能にする新しいアプローチであるHaMIを提案する。 本研究では,ハロシン化検出タスクの革新的な定式化により,このロバスト性を実現する。
  論文  参考訳（メタデータ） (2025-04-10T15:39:10Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Hallucination Detection in LLMs Using Spectral Features of Attention Maps [8.820670807424174]
  大規模言語モデル(LLM)は様々なタスクで顕著な性能を示してきたが、幻覚の傾向は残っていない。 最近の手法はこの目的に注意マップの特性を利用するが、その効果は限られている。 本稿では,注意マップから導出したラプラシア行列の上位k$固有値を幻覚検出プローブの入力として用いるtextLapEigvals$法を提案する。
  論文  参考訳（メタデータ） (2025-02-24T19:30:24Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Bridging the Gap: Gaze Events as Interpretable Concepts to Explain Deep Neural Sequence Models [0.7829352305480283]
  本研究では,固定およびサケードに確立された視線事象検出アルゴリズムを用いる。 これらの事象が与える影響を定量的に評価し,その概念的影響を判断する。
  論文  参考訳（メタデータ） (2023-04-12T10:15:31Z)
• Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
  我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。 これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
  論文  参考訳（メタデータ） (2021-09-08T17:33:54Z)
• Effective Attention Sheds Light On Interpretability [3.317258557707008]
  有効な注意を可視化することは、標準的な注意の解釈とは異なる結論を与えるかどうかを問う。 実効的な注意力は、言語モデリング事前学習に関連する特徴とあまり関連がないことを示す。 設計によって出力されるモデルに関係が深いため, 変圧器の挙動を研究する上で, 効果的な注意を払うことを推奨する。
  論文  参考訳（メタデータ） (2021-05-18T23:41:26Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。