論文の概要: DeCoRe: Decoding by Contrasting Retrieval Heads to Mitigate Hallucinations

• arxiv url: http://arxiv.org/abs/2410.18860v1
• Date: Thu, 24 Oct 2024 15:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:44:23.549028
• Title: DeCoRe: Decoding by Contrasting Retrieval Heads to Mitigate Hallucinations
• Title（参考訳）: DeCoRe: 検索ヘッダをデコードして幻覚を緩和する
• Authors: Aryo Pradipta Gema, Chen Jin, Ahmed Abdulaal, Tom Diethe, Philip Teare, Beatrice Alex, Pasquale Minervini, Amrutha Saseendran,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば幻覚を起こし、不信または事実的に誤った出力を生成する。 近年の研究では、検索ヘッドとして知られるTransformerアーキテクチャ内の特定の注意点が特定されている。 本稿では,新しい学習自由な復号法であるRetrieval Heads (DeCoRe) を用いた復号法を提案する。
• 参考スコア（独自算出の注目度）: 14.025772159366184
• License:
• Abstract: Large Language Models (LLMs) often hallucinate, producing unfaithful or factually incorrect outputs by misrepresenting the provided context or incorrectly recalling internal knowledge. Recent studies have identified specific attention heads within the Transformer architecture, known as retrieval heads, responsible for extracting relevant contextual information. We hypothesise that masking these retrieval heads can induce hallucinations and that contrasting the outputs of the base LLM and the masked LLM can reduce hallucinations. To this end, we propose Decoding by Contrasting Retrieval Heads (DeCoRe), a novel training-free decoding strategy that amplifies information found in the context and model parameters. DeCoRe mitigates potentially hallucinated responses by dynamically contrasting the outputs of the base LLM and the masked LLM, using conditional entropy as a guide. Our extensive experiments confirm that DeCoRe significantly improves performance on tasks requiring high contextual faithfulness, such as summarisation (XSum by 18.6%), instruction following (MemoTrap by 10.9%), and open-book question answering (NQ-Open by 2.4% and NQ-Swap by 5.5%).
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしば幻覚し、提供されたコンテキストを誤って表現したり、内部の知識を誤って呼び起こすことによって、不信または事実的に誤ったアウトプットを生成する。 近年の研究では、検索ヘッドとして知られるトランスフォーマーアーキテクチャ内の特定の注意点を特定し、関連するコンテキスト情報を抽出する役割を担っている。 我々は,これらの検索ヘッドをマスキングすることで幻覚を誘発し,ベースLSMとマスクLDMの出力と対比することで幻覚を低減できると仮定する。 そこで本研究では,コンテキストやモデルパラメータから得られる情報を増幅する,新しいトレーニング不要なデコード戦略であるRetrieval Heads (DeCoRe) のデコードを提案する。 DeCoReは、条件エントロピーをガイドとして、ベースLDMとマスクLDMの出力を動的に対比することにより、潜在的幻覚応答を緩和する。 また,DeCoReでは,要約(XSumが18.6%),指示追従(MemoTrapが10.9%),オープンブック質問応答(NQ-Openが2.4%,NQ-Swapが5.5%)など,文脈的忠実度を必要とするタスクのパフォーマンスが著しく向上することを確認した。

関連論文リスト

• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 MLLM(DeCo)の新しい動的補正復号法を提案する。 広範に使用されているベンチマークでDeCoを評価し、ベースラインと比較して幻覚率を大きなマージンで削減できることを実証した。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability [27.325766792146936]
  パラメトリック(内部)知識の不足によって引き起こされる幻覚。 このような幻覚を検出するには、Large Language Models (LLM) が外部とパラメトリックの知識をどのように利用するかを理解する必要がある。 本稿では,LLMの外部文脈とパラメトリック知識を分離して幻覚を検出する手法であるReDeEPを提案する。
  論文  参考訳（メタデータ） (2024-10-15T09:02:09Z)
• Collu-Bench: A Benchmark for Predicting Language Model Hallucinations in Code [20.736888384234273]
  大規模言語モデル(LLM)のコード幻覚を予測するベンチマークであるColru-Benchを紹介する。 Collu-Benchには、オープンソースモデルから商用モデルまで、5つのデータセットから収集された13,234のコード幻覚インスタンスと11のさまざまなLSMが含まれている。 我々は、従来の機械学習技術とニューラルネットワークの両方を用いて、Colru-Benchの幻覚を予測する実験を行い、22.03 -- 33.15%の精度を達成した。
  論文  参考訳（メタデータ） (2024-10-13T20:41:47Z)
• Mitigating Hallucinations in Large Vision-Language Models (LVLMs) via Language-Contrastive Decoding (LCD) [13.430637580980164]
  Large Vision-Language Models (LVLM) は、画像入力とテキスト入力の両方の処理を容易にし、AI機能を拡張したLarge Language Models (LLM)の拡張である。 本研究では,LVLMの出力をLarge Language Models分布の信頼性レベルに基づいて調整するLanguage Contrastive Decoding (LCD)アルゴリズムを提案する。 本手法は,複雑な後処理や再学習を必要とせず,LVLMを効果的に改善し,異なるモデルに容易に適用できる。
  論文  参考訳（メタデータ） (2024-08-06T08:10:34Z)
• Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
  本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。 実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-12T16:47:34Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。