論文の概要: FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2506.08938v1
• Date: Tue, 10 Jun 2025 16:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.778448
• Title: FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation
• Title（参考訳）: FaithfulRAG:Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation
• Authors: Qinggang Zhang, Zhishang Xiang, Yilin Xiao, Le Wang, Junhui Li, Xinrun Wang, Jinsong Su,
• Abstract要約: 検索システムで強化された大規模言語モデル(LLM)は、知識集約的なタスクを扱う上で大きな可能性を示している。 本稿では,モデルパラメトリック知識と検索コンテキストの相違を明示的にモデル化することにより,知識の対立を解決する新しいフレームワークであるFaithfulRAGを提案する。
• 参考スコア（独自算出の注目度）: 37.28571879699906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) augmented with retrieval systems have demonstrated significant potential in handling knowledge-intensive tasks. However, these models often struggle with unfaithfulness issues, generating outputs that either ignore the retrieved context or inconsistently blend it with the LLM`s parametric knowledge. This issue is particularly severe in cases of knowledge conflict, where the retrieved context conflicts with the model`s parametric knowledge. While existing faithful RAG approaches enforce strict context adherence through well-designed prompts or modified decoding strategies, our analysis reveals a critical limitation: they achieve faithfulness by forcibly suppressing the model`s parametric knowledge, which undermines the model`s internal knowledge structure and increases the risk of misinterpreting the context. To this end, this paper proposes FaithfulRAG, a novel framework that resolves knowledge conflicts by explicitly modeling discrepancies between the model`s parametric knowledge and retrieved context. Specifically, FaithfulRAG identifies conflicting knowledge at the fact level and designs a self-thinking process, allowing LLMs to reason about and integrate conflicting facts before generating responses. Extensive experiments demonstrate that our method outperforms state-of-the-art methods. The code is available at https:// github.com/DeepLearnXMU/Faithful-RAG
• Abstract（参考訳）: 検索システムで強化された大規模言語モデル(LLM)は、知識集約的なタスクを扱う上で大きな可能性を示している。 しかしながら、これらのモデルは不誠実な問題に苦しむことが多く、取得した文脈を無視したり、LLMのパラメトリック知識と矛盾しない出力を生成する。 この問題は、検索された文脈がモデルのパラメトリック知識と矛盾する知識の衝突の場合、特に深刻である。 既存の忠実なRAGアプローチは、適切に設計されたプロンプトや修正された復号戦略を通じて厳密なコンテキストアテンデンスを強制するが、我々の分析では、モデルのパラメトリック知識を強制的に抑制し、モデルの内部知識構造を損なうとともに、コンテキストを誤解釈するリスクを増大させることにより、忠実性を達成するという、重要な制限を明らかにしている。 この目的のために,本論文では,モデルのパラメトリック知識と検索コンテキストの相違を明示的にモデル化することにより,知識の対立を解決する新しいフレームワークであるFaithfulRAGを提案する。 具体的には、FaithfulRAGは事実レベルで矛盾する知識を特定し、自己思考プロセスを設計し、LCMが反応を生成する前に矛盾する事実を推論し統合できるようにする。 大規模な実験により,本手法は最先端の手法より優れていることが示された。 コードはhttps:// github.com/DeepLearnXMU/Faithful-RAGで入手できる。

関連論文リスト

• DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs [36.47787866482107]
  Retrieval Augmented Generation (RAG) は、大規模言語モデルを拡張するための一般的なアプローチである。 本稿では,RAGにおける知識衝突型の新しい分類法を提案する。 次に、現実的なRAG設定で競合タイプの専門家アノテーションを備えた高品質なベンチマークであるCONFLICTSを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T06:52:57Z)
• What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models [16.41477610681199]
  大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。 これらの資料は、特に回収された文書がモデルのパラメトリックな信念と矛盾する場合に矛盾する可能性がある。 本研究では,LLMの動作を文脈記憶の衝突下で体系的に評価する診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-06T19:20:23Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。