論文の概要: What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06485v1
• Date: Fri, 06 Jun 2025 19:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.292972
• Title: What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models
• Title（参考訳）: 目に見えないもの - 大規模言語モデルにおける知識衝突の破壊的影響
• Authors: Kaiser Sun, Fan Bai, Mark Dredze,
• Abstract要約: 大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。 これらの資料は、特に回収された文書がモデルのパラメトリックな信念と矛盾する場合に矛盾する可能性がある。 本研究では,LLMの動作を文脈記憶の衝突下で体系的に評価する診断フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.41477610681199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models frequently rely on both contextual input and parametric knowledge to perform tasks. However, these sources can come into conflict, especially when retrieved documents contradict the model's parametric knowledge. We propose a diagnostic framework to systematically evaluate LLM behavior under context-memory conflict, where the contextual information diverges from their parametric beliefs. We construct diagnostic data that elicit these conflicts and analyze model performance across multiple task types. Our findings reveal that (1) knowledge conflict has minimal impact on tasks that do not require knowledge utilization, (2) model performance is consistently higher when contextual and parametric knowledge are aligned, (3) models are unable to fully suppress their internal knowledge even when instructed, and (4) providing rationales that explain the conflict increases reliance on contexts. These insights raise concerns about the validity of model-based evaluation and underscore the need to account for knowledge conflict in the deployment of LLMs.
• Abstract（参考訳）: 大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。 しかし、これらの資料は、特に検索された文書がモデルのパラメトリック知識と矛盾する場合に矛盾する可能性がある。 本研究では,文脈記憶の対立下でのLCM行動の系統的評価を行うための診断枠組みを提案する。 我々は、これらの矛盾を誘発する診断データを構築し、複数のタスクタイプにわたるモデル性能を解析する。 その結果,(1)知識のコンフリクトは,知識の活用を必要としないタスクに最小限の影響を及ぼし,(2)文脈的知識とパラメトリック知識が一致してもモデル性能は一貫して高く,(3)モデルでは指導された場合でも内部知識を完全に抑制することができず,(4)コンフリクトを説明する合理性は文脈に依存する。 これらの知見は、モデルに基づく評価の有効性に関する懸念を提起し、LLMの展開において知識衝突を考慮する必要性を浮き彫りにしている。

関連論文リスト

• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models [42.776896363518844]
  本研究では,メモリ内競合がLMのコンテキスト受容能力に及ぼす影響について検討した。 我々は、2つの知識衝突対策と、本質的に矛盾するデータを含む新しいデータセットであるDynamicQAを利用する。 我々は,単一真理値の事実と比較して,LMが動的事実とメモリ内衝突の程度が大きいことを検証した。
  論文  参考訳（メタデータ） (2024-07-24T06:06:07Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
  本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。 実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
  論文  参考訳（メタデータ） (2024-02-19T07:10:30Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。