論文の概要: Hallucination Detection using Multi-View Attention Features

• arxiv url: http://arxiv.org/abs/2504.04335v1
• Date: Sun, 06 Apr 2025 03:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:35.838742
• Title: Hallucination Detection using Multi-View Attention Features
• Title（参考訳）: マルチビューアテンション特徴を用いた幻覚検出
• Authors: Yuya Ogasa, Yuki Arase,
• Abstract要約: 本研究では,大規模言語モデルの出力におけるトークンレベルの幻覚検出に取り組む。 我々は,各トークンが受ける平均的注意を補完する注目行列から特徴を抽出する。 これらの特徴はTransformerベースの分類器に入力され、トークンレベルの分類を行い、幻覚したスパンを識別する。
• 参考スコア（独自算出の注目度）: 9.156064716689833
• License:
• Abstract: This study tackles token-level hallucination detection in outputs of large language models. Previous studies revealed that attention exhibits irregular patterns when hallucination occurs. Inspired by this, we extract features from the attention matrix that provide complementary views of (a) the average attention each token receives, which helps identify whether certain tokens are overly influential or ignored, (b) the diversity of attention each token receives, which reveals whether attention is biased toward specific subsets, and (c) the diversity of tokens a token attends to during generation, which indicates whether the model references a narrow or broad range of information. These features are input to a Transformer-based classifier to conduct token-level classification to identify hallucinated spans. Experimental results indicate that the proposed method outperforms strong baselines on hallucination detection with longer input contexts, i.e., data-to-text and summarization tasks.
• Abstract（参考訳）: 本研究では,大規模言語モデルの出力におけるトークンレベルの幻覚検出に取り組む。 以前の研究では、幻覚の発生時に注意が不規則なパターンを示すことが明らかとなった。 これに触発されて、我々は、補完的な視点を提供する注目行列から特徴を抽出する。 a) 各トークンが受ける平均的注意力は、特定のトークンが過度に影響しているか無視されているかを識別するのに役立つ。 b) 各トークンが受信する注目の多様性は、特定のサブセットに注意が偏っているか否かを明らかにし、 (c) トークンの多様性は、そのモデルが狭い範囲または広い範囲の情報を参照しているかどうかを示す、世代間のトークンの多様性を示す。 これらの特徴はTransformerベースの分類器に入力され、トークンレベルの分類を行い、幻覚したスパンを識別する。 実験結果から,提案手法はより長い入力コンテキスト,すなわちデータ・トゥ・テキストおよび要約タスクにおいて,幻覚検出の強いベースラインよりも優れていたことが示唆された。

関連論文リスト

• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Bridging the Gap: Gaze Events as Interpretable Concepts to Explain Deep Neural Sequence Models [0.7829352305480283]
  本研究では,固定およびサケードに確立された視線事象検出アルゴリズムを用いる。 これらの事象が与える影響を定量的に評価し,その概念的影響を判断する。
  論文  参考訳（メタデータ） (2023-04-12T10:15:31Z)
• Resolving label uncertainty with implicit posterior models [71.62113762278963]
  本稿では,データサンプルのコレクション間でラベルを共同で推論する手法を提案する。 異なる予測子を後部とする生成モデルの存在を暗黙的に仮定することにより、弱い信念の下での学習を可能にする訓練目標を導出する。
  論文  参考訳（メタデータ） (2022-02-28T18:09:44Z)
• Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
  我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。 これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
  論文  参考訳（メタデータ） (2021-09-08T17:33:54Z)
• Effective Attention Sheds Light On Interpretability [3.317258557707008]
  有効な注意を可視化することは、標準的な注意の解釈とは異なる結論を与えるかどうかを問う。 実効的な注意力は、言語モデリング事前学習に関連する特徴とあまり関連がないことを示す。 設計によって出力されるモデルに関係が深いため, 変圧器の挙動を研究する上で, 効果的な注意を払うことを推奨する。
  論文  参考訳（メタデータ） (2021-05-18T23:41:26Z)
• Exploring the Role of BERT Token Representations to Explain Sentence Probing Results [15.652077779677091]
  BERTは特定のトークン表現において有意義な知識をエンコードする傾向にあることを示す。 これにより、シンタクティックとセマンティックの異常を検出し、文法的数とテンソル部分空間を一意に分離することができる。
  論文  参考訳（メタデータ） (2021-04-03T20:40:42Z)
• Impacts of the Numbers of Colors and Shapes on Outlier Detection: from Automated to User Evaluation [1.7205106391379026]
  本稿では,視覚探索理論を情報可視化コンテキストに拡張することで,そのテーマに寄与する。 ランダムに並べられた気晴らしのグリッドに未知のアウトリーヤを見つけるよう被験者に依頼される視覚的検索タスクを検討する。 その結果,外乱率のエンコードに使用される視覚的属性の数が主な難易度であることがわかった。
  論文  参考訳（メタデータ） (2021-03-10T14:35:53Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。