論文の概要: Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps

• arxiv url: http://arxiv.org/abs/2407.07071v2
• Date: Thu, 3 Oct 2024 17:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 22:51:19.943577
• Title: Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps
• Title（参考訳）: Lookback Lens:注意図のみを用いた大規模言語モデルにおける文脈幻覚の検出と緩和
• Authors: Yung-Sung Chuang, Linlu Qiu, Cheng-Yu Hsieh, Ranjay Krishna, Yoon Kim, James Glass,
• Abstract要約: 大型言語モデル(LLM)は詳細を幻覚し、根拠のない回答で応答することができる。 本稿では,このような文脈的幻覚を検出するための簡単なアプローチについて述べる。
• 参考スコア（独自算出の注目度）: 48.58310785625051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When asked to summarize articles or answer questions given a passage, large language models (LLMs) can hallucinate details and respond with unsubstantiated answers that are inaccurate with respect to the input context. This paper describes a simple approach for detecting such contextual hallucinations. We hypothesize that contextual hallucinations are related to the extent to which an LLM attends to information in the provided context versus its own generations. Based on this intuition, we propose a simple hallucination detection model whose input features are given by the ratio of attention weights on the context versus newly generated tokens (for each attention head). We find that a linear classifier based on these lookback ratio features is as effective as a richer detector that utilizes the entire hidden states of an LLM or a text-based entailment model. The lookback ratio-based detector -- Lookback Lens -- is found to transfer across tasks and even models, allowing a detector that is trained on a 7B model to be applied (without retraining) to a larger 13B model. We further apply this detector to mitigate contextual hallucinations, and find that a simple classifier-guided decoding approach is able to reduce the amount of hallucination, for example by 9.6% in the XSum summarization task.
• Abstract（参考訳）: 記事の要約や質問に対する回答を尋ねると、大きな言語モデル(LLM)は詳細を幻覚させ、入力コンテキストに関して不正確な未確定な回答に応答する。 本稿では,このような文脈的幻覚を検出するための簡単なアプローチについて述べる。 我々は、文脈幻覚は、LLMが提供された文脈における情報に、その世代に対して、その情報に出席する程度に関係していると仮定する。 この直感に基づいて,新たに生成したトークン(各アテンションヘッド)に対する注意重みの比率によって入力特徴が与えられる簡単な幻覚検出モデルを提案する。 これらのルックバック比の特徴に基づく線形分類器は、LLMの隠れ状態全体やテキストベースエンタテインメントモデルを利用するよりリッチな検出器として有効であることがわかった。 ルックバック比に基づく検出器であるルックバックレンズは、7Bモデルで訓練された検出器をより大きな13Bモデルに(再訓練なしで)適用することができる。 さらに、この検出器を用いて文脈的幻覚を緩和し、例えばXSum要約タスクにおいて、単純な分類器誘導復号法により幻覚の量を9.6%削減できることを見出した。

関連論文リスト

• MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
  トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。 統計的解析から,これまでの研究で注目されていたLVLMの幻覚の要因を明らかにした。 提案手法の有効性を示す4種類のLVLMについて検討した。
  論文  参考訳（メタデータ） (2024-05-29T15:28:42Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• DelucionQA: Detecting Hallucinations in Domain-specific Question Answering [22.23664008053246]
  幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である 我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。 本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
  論文  参考訳（メタデータ） (2023-12-08T17:41:06Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Detecting and Preventing Hallucinations in Large Vision Language Models [4.7264116948935975]
  M-HalDetectは、詳細な画像記述のための最初のマルチモーダル幻覚検出データセットである。 InstructBLIPから細粒度マルチモーダル報酬モデルを訓練し,その有効性を評価する。 LLaVAとmPLUG-OWLの幻覚をそれぞれ15%と57%低減する。
  論文  参考訳（メタデータ） (2023-08-11T21:35:20Z)
• Trapping LLM Hallucinations Using Tagged Context Prompts [11.655802601887197]
  本稿では,大規模言語モデルがドメイン知識の外部で実行された場合に,インスタンスを認識・フラグする新しい手法を提案する。 組込みタグと組み合わされたコンテキストを用いることで,生成言語モデル内の幻覚に対処できることが判明した。
  論文  参考訳（メタデータ） (2023-06-09T17:48:54Z)
• SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
  「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。 本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
  論文  参考訳（メタデータ） (2023-03-15T19:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。