論文の概要: CoCoA: Confidence- and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.17670v1
• Date: Mon, 25 Aug 2025 05:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.640185
• Title: CoCoA: Confidence- and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large Language Models
• Title（参考訳）: CoCoA: 大規模言語モデルにおける知識衝突を解決するための信頼とコンテキストアウェア適応デコーディング
• Authors: Anant Khandelwal, Manish Gupta, Puneet Agrawal,
• Abstract要約: CoCoA(Confidence- and Context-Aware Adaptive Decoding)は、紛争解決の原則と忠実性の強化のための新しいトークンレベルアルゴリズムである。 CoCoAは、信頼を意識した尺度(エントロピーギャップと文脈ピーク性)とパラメトリック分布と文脈分布の一般化したばらつきを利用して紛争を解決する。
• 参考スコア（独自算出の注目度）: 24.693047847053023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Faithful generation in large language models (LLMs) is challenged by knowledge conflicts between parametric memory and external context. Existing contrastive decoding methods tuned specifically to handle conflict often lack adaptability and can degrade performance in low conflict settings. We introduce CoCoA (Confidence- and Context-Aware Adaptive Decoding), a novel token-level algorithm for principled conflict resolution and enhanced faithfulness. CoCoA resolves conflict by utilizing confidence-aware measures (entropy gap and contextual peakedness) and the generalized divergence between the parametric and contextual distributions. Crucially, CoCoA maintains strong performance even in low conflict settings. Extensive experiments across multiple LLMs on diverse Question Answering (QA), Summarization, and Long-Form Question Answering (LFQA) benchmarks demonstrate CoCoA's state-of-the-art performance over strong baselines like AdaCAD. It yields significant gains in QA accuracy, up to 9.2 points on average compared to the strong baseline AdaCAD, and improves factuality in summarization and LFQA by up to 2.5 points on average across key benchmarks. Additionally, it demonstrates superior sensitivity to conflict variations. CoCoA enables more informed, context-aware, and ultimately more faithful token generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)における忠実な生成は、パラメトリックメモリと外部コンテキストの間の知識の衝突によって挑戦される。 コンフリクトを処理するために特別に調整された既存のコントラストデコーディング手法は、適応性に欠けることが多く、低コンフリクト設定で性能が低下する可能性がある。 CoCoA(Confidence- and Context-Aware Adaptive Decoding)は、紛争解決の原理と忠実性の強化のための新しいトークンレベルアルゴリズムである。 CoCoAは、信頼を意識した尺度(エントロピーギャップと文脈ピーク性)とパラメトリック分布と文脈分布の一般化したばらつきを利用して紛争を解決する。 重要なことは、CoCoAは低コンフリクト設定でも高いパフォーマンスを維持している。 多様な質問回答(QA)、要約(Summarization)、Long-Form Question Answering(LFQA)のベンチマークでは、AdaCADのような強力なベースラインに対するCoCoAの最先端のパフォーマンスが示されている。 QAの精度は、強力なベースラインであるAdaCADと比較して平均9.2ポイントまで向上し、鍵ベンチマーク全体で平均2.5ポイント向上する。 さらに、コンフリクトのばらつきに対して優れた感度を示す。 CoCoAは、より情報があり、コンテキストを認識し、究極的にはより忠実なトークン生成を可能にする。

関連論文リスト

• Conflict-Aware Soft Prompting for Retrieval-Augmented Generation [7.20732238547724]
  Retrieval-augmented Generation (RAG)は、外部知識を入力プロンプトに組み込むことで、大規模言語モデル(LLM)の能力を高める。 RAGはしばしば、誤った外部コンテキストと正しいパラメトリック知識の間の競合を解決できない。 コンテクストアセスタとベースLLMから構成されるCARE(Conflict-Aware Retrieval-Augmented Generation)を紹介する。 CAREはコンテキストメモリの競合を効果的に軽減し、QAとファクトチェックベンチマークの平均パフォーマンスは5.0%向上した。
  論文  参考訳（メタデータ） (2025-08-21T05:36:29Z)
• KaFT: Knowledge-aware Fine-tuning for Boosting LLMs' Domain-specific Question-Answering Performance [83.99974309930072]
  Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)のドメイン固有質問応答(QA)性能を改善するための一般的なアプローチである。
  論文  参考訳（メタデータ） (2025-05-21T12:55:28Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
  知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。 コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。 ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-11T16:35:18Z)
• Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
  本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。 実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
  論文  参考訳（メタデータ） (2024-02-19T07:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。