論文の概要: Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models

• arxiv url: http://arxiv.org/abs/2501.01059v1
• Date: Thu, 02 Jan 2025 05:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:30.137689
• Title: Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける文脈忠実度幻覚の緩和のための動的注意ガイド付きコンテキストデコーディング
• Authors: Yanwen Huang, Yong Zhang, Ning Cheng, Zhitao Li, Shaojun Wang, Jing Xiao,
• Abstract要約: 大きな言語モデル(LLM)は、しばしば文脈忠実な幻覚に悩まされる。 動的注意誘導コンテキストデコーディング(DAGCD)を提案する。 DAGCDは、単一パス復号プロセスにおいて注意分布と不確実性信号を統合する。
• 参考スコア（独自算出の注目度）: 26.51079570548107
• License:
• Abstract: Large language models (LLMs) often suffer from context faithfulness hallucinations, where outputs deviate from retrieved information due to insufficient context utilization and high output uncertainty. Our uncertainty evaluation experiments reveal a strong correlation between high uncertainty and hallucinations. We hypothesize that attention mechanisms encode signals indicative of contextual utilization, validated through probing analysis. Based on these insights, we propose Dynamic Attention-Guided Context Decoding (DAGCD), a lightweight framework that integrates attention distributions and uncertainty signals in a single-pass decoding process. Experiments across QA datasets demonstrate DAGCD's effectiveness, achieving significant improvements in faithfulness and robustness while maintaining computational efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば文脈忠実性幻覚に悩まされる。 我々の不確実性評価実験は、高い不確実性と幻覚との間に強い相関関係を示す。 注意機構が文脈的利用を示す信号を符号化する仮説を,探索解析により検証した。 これらの知見に基づいて,単一パスデコーディングプロセスにおいて注意分布と不確実性信号を統合する軽量フレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。 QAデータセットにわたる実験は、DAGCDの有効性を示し、計算効率を維持しながら、忠実性と堅牢性を大幅に改善した。

関連論文リスト

• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• From Uncertainty to Trust: Enhancing Reliability in Vision-Language Models with Uncertainty-Guided Dropout Decoding [6.115580421973011]
  大規模視覚言語モデル(LVLM)は多モーダルタスクにおいて顕著な能力を示すが、視覚入力を誤解釈する傾向があり、幻覚や信頼できない出力をもたらすことが多い。 本稿では,視覚的トークンの不確実性を定量化し,不確実なトークンを選択的にマスクしてデコードを改善する新しい推論時間手法であるDropout Decodingを提案する。 CHAIR, THRONE, MMBenchなどのベンチマークによる評価では、Dropout Decodingはオブジェクト幻覚(OH)を大幅に低減し、LVLM出力の信頼性と品質を向上させる。
  論文  参考訳（メタデータ） (2024-12-09T13:21:07Z)
• Maintaining Informative Coherence: Migrating Hallucinations in Large Language Models via Absorbing Markov Chains [6.920249042435973]
  大規模言語モデル(LLM)は、テキスト生成、翻訳、要約のための強力なツールである。 LLMは、文脈情報の忠実さとコヒーレンスを維持するのに失敗する幻覚症状に悩まされることが多い。 本稿では,マルコフ連鎖を吸収し,文脈情報の重要性を定量化する新しい復号手法を提案する。
  論文  参考訳（メタデータ） (2024-10-27T04:51:18Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)
• Sometimes We Want Translationese [48.45003475966808]
  一部のアプリケーションでは、元の(入力)テキストに対する忠実さが保存に重要である。 NMTシステムが堅牢性と信頼性を示すかどうかを定量化する、シンプルで斬新な方法を提案します。
  論文  参考訳（メタデータ） (2021-04-15T17:39:47Z)
• Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery [85.36948722680822]
  我々はα-βネットワークと呼ばれる深層モデルのコンテキスト認識混合を開発する。 高レベルの文脈を識別することで、精度とFスコアを10%向上させる。 トレーニングの安定性を確保するために、公開データセットと社内データセットの両方でクラスタリングベースの事前トレーニングを使用しました。
  論文  参考訳（メタデータ） (2020-03-03T19:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。