論文の概要: Breaking the Trade-Off Between Faithfulness and Expressiveness for Large Language Models

• arxiv url: http://arxiv.org/abs/2508.18651v1
• Date: Tue, 26 Aug 2025 03:48:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.668063
• Title: Breaking the Trade-Off Between Faithfulness and Expressiveness for Large Language Models
• Title（参考訳）: 大規模言語モデルの忠実さと表現力のトレードオフを打破する
• Authors: Chenxu Yang, Qingyi Si, Zheng Lin,
• Abstract要約: 外部知識の接地応答は、大規模言語モデルにおける幻覚を緩和するための効果的な戦略である。 現在のLLMは、忠実さと表現性を同時に維持しながら、シームレスに知識を統合するのに苦労している。 本稿では,外部知識を伴わずに出力確率を動的に統合する新しい手法である協調復号法を提案する。
• 参考スコア（独自算出の注目度）: 14.166203096918247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grounding responses in external knowledge represents an effective strategy for mitigating hallucinations in Large Language Models (LLMs). However, current LLMs struggle to seamlessly integrate knowledge while simultaneously maintaining faithfulness (or fidelity) and expressiveness, capabilities that humans naturally possess. This limitation results in outputs that either lack support from external knowledge, thereby compromising faithfulness, or appear overly verbose and unnatural, thus sacrificing expressiveness. In this work, to break the trade-off between faithfulness and expressiveness, we propose Collaborative Decoding (CoDe), a novel approach that dynamically integrates output probabilities generated with and without external knowledge. This integration is guided by distribution divergence and model confidence, enabling the selective activation of relevant and reliable expressions from the model's internal parameters. Furthermore, we introduce a knowledge-aware reranking mechanism that prevents over-reliance on prior parametric knowledge while ensuring proper utilization of provided external information. Through comprehensive experiments, our plug-and-play CoDe framework demonstrates superior performance in enhancing faithfulness without compromising expressiveness across diverse LLMs and evaluation metrics, validating both its effectiveness and generalizability.
• Abstract（参考訳）: 外部知識における接地応答は,大規模言語モデル(LLM)における幻覚を緩和するための効果的な戦略である。 しかし、現在のLLMは、人間が自然に持つ能力である忠実さ(または忠実さ)と表現力を同時に維持しながら、知識をシームレスに統合することに苦労している。 この制限は、外部の知識からの支持が欠如し、誠実さを損なうか、過度に冗長で不自然に現れ、表現力を犠牲にするアウトプットをもたらす。 本研究では,信頼感と表現力のトレードオフを打破するために,外部知識を伴わずに発生する出力確率を動的に統合するコラボレーティブ・デコーディング(CoDe)を提案する。 この統合は分布のばらつきとモデルの信頼性によって導かれ、モデルの内部パラメータから関連性および信頼性のある式を選択的に活性化することができる。 さらに、提供された外部情報の適切な活用を確保しつつ、事前のパラメトリック知識への過度な依存を防止する知識認識リグレード機構を導入する。 包括的実験を通じて,本フレームワークは多種多様なLCMおよび評価指標にまたがる表現性を損なうことなく,忠実性向上に優れた性能を示し,その有効性と一般化性の両方を検証した。

関連論文リスト

• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Extending Epistemic Uncertainty Beyond Parameters Would Assist in Designing Reliable LLMs [40.7342896954488]
  我々は、不確実性を推論し、不確実性の再現性を明確化するコヒーレントな基盤を提供する枠組みの採用を提唱する。 受動的回避よりも能動的解決をサポートすることで、より信頼性が高く透明で広く適用可能なLCMシステムへの扉を開くことができる。
  論文  参考訳（メタデータ） (2025-06-09T05:52:03Z)
• Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge [19.767087192966223]
  本稿では,DSSP-RAG(Shared-Private Semantic Synergy)のためのDual-Stream Knowledge-Augmented Frameworkを提案する。 フレームワークの中心は、自己意識を混合意識に洗練し、制御された内外的知識統合のための共有とプライベートのセマンティクスを区別する、新しいアプローチである。 ベンチマークデータセットの実験では、DSSP-RAGは競合を効果的に解決し、二重ストリーム知識の相補性を向上し、強いベースラインよりも優れたパフォーマンスをもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-06-06T17:00:23Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。