論文の概要: HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.12908v1
• Date: Mon, 17 Mar 2025 08:17:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 14:56:58.167682
• Title: HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models
• Title（参考訳）: HICD:大規模言語モデルにおける幻覚の緩和のためのコントラストデコードのための注意分散による幻覚誘導
• Authors: Xinyan Jiang, Hang Ye, Yongxin Zhu, Xiaoying Zheng, Zikang Chen, Jun Gong,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば幻覚を生成し、文脈的に不正確または事実的に不正確な出力を生成する。 我々は,幻覚を緩和する対照的な復号法として,幻覚を誘導する新しい手法HICDを紹介する。
• 参考スコア（独自算出の注目度）: 5.5957864358384795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often generate hallucinations, producing outputs that are contextually inaccurate or factually incorrect. We introduce HICD, a novel method designed to induce hallucinations for contrastive decoding to mitigate hallucinations. Unlike existing contrastive decoding methods, HICD selects attention heads crucial to the model's prediction as inducing heads, then induces hallucinations by dispersing attention of these inducing heads and compares the hallucinated outputs with the original outputs to obtain the final result. Our approach significantly improves performance on tasks requiring contextual faithfulness, such as context completion, reading comprehension, and question answering. It also improves factuality in tasks requiring accurate knowledge recall. We demonstrate that our inducing heads selection and attention dispersion method leads to more "contrast-effective" hallucinations for contrastive decoding, outperforming other hallucination-inducing methods. Our findings provide a promising strategy for reducing hallucinations by inducing hallucinations in a controlled manner, enhancing the performance of LLMs in a wide range of tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば幻覚を生成し、文脈的に不正確または事実的に不正確な出力を生成する。 我々は,幻覚を緩和する対照的な復号法として,幻覚を誘導する新しい手法HICDを紹介する。 既存のコントラスト復号法とは異なり、HICDはモデルの予測に不可欠な注目ヘッドを誘導ヘッドとして選択し、これらの誘導ヘッドの注意を分散させて幻覚を誘導し、幻覚出力と元の出力を比較して最終的な結果を得る。 提案手法は,コンテキスト補完,読み解き,質問応答など,文脈忠実性を必要とするタスクのパフォーマンスを著しく向上させる。 また、正確な知識のリコールを必要とするタスクの事実性も向上する。 我々は,頭部選択法と注意分散法が,他の幻覚誘導法よりも優れた「コントラスト効果」幻覚に繋がることを示した。 本研究は,幻覚を制御的に誘導することにより幻覚を低減し,広範囲の作業においてLLMの性能を高めるための有望な戦略を提供する。

関連論文リスト

• AdaIAT: Adaptively Increasing Attention to Generated Text to Alleviate Hallucinations in LVLM [28.68190828797428]
  本稿では,反復的な記述を避けつつ,幻覚を和らげるためのIAT(Attention to Generated Text)を提案する。 AdaIATは、各アテンションヘッドの特性に合わせて、干渉時間と微細な増幅等級を制御するために、レイヤワイズしきい値を用いる。
  論文  参考訳（メタデータ） (2026-03-05T07:52:11Z)
• Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance [31.7541034166056]
  LVLM(Large Vision-Language Models)は、画像テキスト入力から効果的に推論し、様々なマルチモーダルタスクでうまく機能する。 彼らは言語の先行性に影響され、しばしば幻覚を生じさせる。 この問題に対処するためにResidual Decoding (ResDec)を提案する。
  論文  参考訳（メタデータ） (2026-02-01T06:12:05Z)
• Exploring and Mitigating Fawning Hallucinations in Large Language Models [52.444712272909435]
  各種自然言語処理タスクにおけるハエの幻覚の分析を行う。 我々は、フェニング・ハロシン化緩和のための、いわゆるコントラストデコーディング手法をカスタマイズする。
  論文  参考訳（メタデータ） (2025-08-31T14:29:54Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• Decoupling Contrastive Decoding: Robust Hallucination Mitigation in Multimodal Large Language Models [15.521352228154159]
  マルチモーダル大言語モデル(MLLM)は、明白な視覚的または事実的証拠と一致しない出力を生成する。 DCD(Decoupling Contrastive Decoding)という新しいフレームワークを提案する。 DCDは選好データセットにおける正と負のサンプルの学習を分離し、訓練はMLLM内で正と負のイメージ投影を分離する。
  論文  参考訳（メタデータ） (2025-04-09T02:59:18Z)
• Trust Me, I'm Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer [51.7407540261676]
  本研究では,モデルが常に正しい解答を行うことのできる幻覚の別のタイプについて検討するが,一見自明な摂動は,高い確実性で幻覚応答を生じさせる。 この現象は特に医学や法学などの高度な領域において、モデルの確実性はしばしば信頼性の代用として使用される。 CHOKEの例は、プロンプト間で一貫性があり、異なるモデルやデータセットで発生し、他の幻覚と根本的に異なることを示す。
  論文  参考訳（メタデータ） (2025-02-18T15:46:31Z)
• Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence [69.86946427928511]
  大型視覚言語モデル(LVLM)における幻覚を駆動する内部メカニズムについて検討する。 本稿では,視覚的コンテキストに対する注目ヘッド出力の感度を定量化する指標として,視覚認識型頭部偏差(VHD)を紹介する。 視覚認識型頭部強化(VHR)は,視覚認識型頭部機能を高めることで幻覚を緩和するための訓練不要なアプローチである。
  論文  参考訳（メタデータ） (2024-12-18T15:29:30Z)
• Verb Mirage: Unveiling and Assessing Verb Concept Hallucinations in Multimodal Large Language Models [51.50892380172863]
  その結果,ほとんどのMLLMは重度の動詞幻覚に悩まされていることがわかった。 本稿では,動詞の幻覚を軽減するために,動詞の知識に基づく新しいチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T10:53:47Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。