論文の概要: CoCoA: Confidence and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large Language Models
- arxiv url: http://arxiv.org/abs/2508.17670v2
- Date: Wed, 27 Aug 2025 08:29:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 12:43:57.492859
- Title: CoCoA: Confidence and Context-Aware Adaptive Decoding for Resolving Knowledge Conflicts in Large Language Models
- Title（参考訳）: CoCoA: 大規模言語モデルにおける知識衝突を解決するための信頼とコンテキストアウェア適応デコーディング
- Authors: Anant Khandelwal, Manish Gupta, Puneet Agrawal,
- Abstract要約: CoCoA(Confidence- and Context-Aware Adaptive Decoding)は、紛争解決の原則と忠実性の強化のための新しいトークンレベルアルゴリズムである。
CoCoAは、信頼を意識した尺度(エントロピーギャップと文脈ピーク性)とパラメトリック分布と文脈分布の一般化したばらつきを利用して紛争を解決する。
- 参考スコア（独自算出の注目度）: 24.693047847053023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Faithful generation in large language models (LLMs) is challenged by knowledge conflicts between parametric memory and external context. Existing contrastive decoding methods tuned specifically to handle conflict often lack adaptability and can degrade performance in low conflict settings. We introduce CoCoA (Confidence- and Context-Aware Adaptive Decoding), a novel token-level algorithm for principled conflict resolution and enhanced faithfulness. CoCoA resolves conflict by utilizing confidence-aware measures (entropy gap and contextual peakedness) and the generalized divergence between the parametric and contextual distributions. Crucially, CoCoA maintains strong performance even in low conflict settings. Extensive experiments across multiple LLMs on diverse Question Answering (QA), Summarization, and Long-Form Question Answering (LFQA) benchmarks demonstrate CoCoA's state-of-the-art performance over strong baselines like AdaCAD. It yields significant gains in QA accuracy, up to 9.2 points on average compared to the strong baseline AdaCAD, and improves factuality in summarization and LFQA by up to 2.5 points on average across key benchmarks. Additionally, it demonstrates superior sensitivity to conflict variations. CoCoA enables more informed, context-aware, and ultimately more faithful token generation.
- Abstract（参考訳）: 大規模言語モデル(LLM)における忠実な生成は、パラメトリックメモリと外部コンテキストの間の知識の衝突によって挑戦される。
コンフリクトを処理するために特別に調整された既存のコントラストデコーディング手法は、適応性に欠けることが多く、低コンフリクト設定で性能が低下する可能性がある。
CoCoA(Confidence- and Context-Aware Adaptive Decoding)は、紛争解決の原理と忠実性の強化のための新しいトークンレベルアルゴリズムである。
CoCoAは、信頼を意識した尺度(エントロピーギャップと文脈ピーク性)とパラメトリック分布と文脈分布の一般化したばらつきを利用して紛争を解決する。
重要なことは、CoCoAは低コンフリクト設定でも高いパフォーマンスを維持している。
多様な質問回答(QA)、要約(Summarization)、Long-Form Question Answering(LFQA)のベンチマークでは、AdaCADのような強力なベースラインに対するCoCoAの最先端のパフォーマンスが示されている。
QAの精度は、強力なベースラインであるAdaCADと比較して平均9.2ポイントまで向上し、鍵ベンチマーク全体で平均2.5ポイント向上する。
さらに、コンフリクトのばらつきに対して優れた感度を示す。
CoCoAは、より情報があり、コンテキストを認識し、究極的にはより忠実なトークン生成を可能にする。
関連論文リスト
- CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering [53.7094431951084]
知識に基づく視覚的質問応答(KB-VQA)は、知識集約的なタスクを扱う大きな可能性を示す。
視覚言語モデルにおける静的パラメトリック知識と動的に取得された情報との間には矛盾が生じる。
KB-VQAのトレーニングフリー・コンフリクト対応・相関対応手法としてtextbfCC-VQAを提案する。
論文 参考訳（メタデータ） (2026-02-27T11:56:26Z) - Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。
我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。
本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
論文 参考訳（メタデータ） (2026-02-16T07:10:44Z) - Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement [0.24443539255794253]
事前訓練された大言語モデル(LLMs)は、幻覚として知られる事実的不正確なテキストを生成する傾向にある。
本研究では,中間層でこれらの信号を聴くことによって,推論時に幻覚を緩和する,新しい学習自由復号アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-02-10T07:32:37Z) - That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation [55.78914774437411]
大規模言語モデル(LLM)は、パラメトリック知識とプロンプトに含まれる矛盾する情報との相違に直面して振る舞う。
このような対立を構築・解釈するためのドメインに依存しないフレームワークを提案する。
本研究では, アクティベーションレベルのステアリングが, ランダムベースライン上でのステアリング成功率を最大12.6%向上させることができることを示す。
論文 参考訳（メタデータ） (2025-10-21T22:27:56Z) - Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。
トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。
モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
論文 参考訳（メタデータ） (2025-10-12T04:18:45Z) - Conflict-Aware Soft Prompting for Retrieval-Augmented Generation [7.20732238547724]
Retrieval-augmented Generation (RAG)は、外部知識を入力プロンプトに組み込むことで、大規模言語モデル(LLM)の能力を高める。
RAGはしばしば、誤った外部コンテキストと正しいパラメトリック知識の間の競合を解決できない。
コンテクストアセスタとベースLLMから構成されるCARE(Conflict-Aware Retrieval-Augmented Generation)を紹介する。
CAREはコンテキストメモリの競合を効果的に軽減し、QAとファクトチェックベンチマークの平均パフォーマンスは5.0%向上した。
論文 参考訳（メタデータ） (2025-08-21T05:36:29Z) - KaFT: Knowledge-aware Fine-tuning for Boosting LLMs' Domain-specific Question-Answering Performance [83.99974309930072]
Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)のドメイン固有質問応答(QA)性能を改善するための一般的なアプローチである。
論文 参考訳（メタデータ） (2025-05-21T12:55:28Z) - ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。
本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。
実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
論文 参考訳（メタデータ） (2025-02-21T15:50:41Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳（メタデータ） (2024-09-11T16:35:18Z) - Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。
実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
論文 参考訳（メタデータ） (2024-02-19T07:10:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。