論文の概要: What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models

• arxiv url: http://arxiv.org/abs/2506.06485v1
• Date: Fri, 06 Jun 2025 19:20:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.292972
• Title: What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models
• Title（参考訳）: 目に見えないもの - 大規模言語モデルにおける知識衝突の破壊的影響
• Authors: Kaiser Sun, Fan Bai, Mark Dredze,
• Abstract要約: 大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。 これらの資料は、特に回収された文書がモデルのパラメトリックな信念と矛盾する場合に矛盾する可能性がある。 本研究では,LLMの動作を文脈記憶の衝突下で体系的に評価する診断フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.41477610681199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models frequently rely on both contextual input and parametric knowledge to perform tasks. However, these sources can come into conflict, especially when retrieved documents contradict the model's parametric knowledge. We propose a diagnostic framework to systematically evaluate LLM behavior under context-memory conflict, where the contextual information diverges from their parametric beliefs. We construct diagnostic data that elicit these conflicts and analyze model performance across multiple task types. Our findings reveal that (1) knowledge conflict has minimal impact on tasks that do not require knowledge utilization, (2) model performance is consistently higher when contextual and parametric knowledge are aligned, (3) models are unable to fully suppress their internal knowledge even when instructed, and (4) providing rationales that explain the conflict increases reliance on contexts. These insights raise concerns about the validity of model-based evaluation and underscore the need to account for knowledge conflict in the deployment of LLMs.
• Abstract（参考訳）: 大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。 しかし、これらの資料は、特に検索された文書がモデルのパラメトリック知識と矛盾する場合に矛盾する可能性がある。 本研究では,文脈記憶の対立下でのLCM行動の系統的評価を行うための診断枠組みを提案する。 我々は、これらの矛盾を誘発する診断データを構築し、複数のタスクタイプにわたるモデル性能を解析する。 その結果,(1)知識のコンフリクトは,知識の活用を必要としないタスクに最小限の影響を及ぼし,(2)文脈的知識とパラメトリック知識が一致してもモデル性能は一貫して高く,(3)モデルでは指導された場合でも内部知識を完全に抑制することができず,(4)コンフリクトを説明する合理性は文脈に依存する。 これらの知見は、モデルに基づく評価の有効性に関する懸念を提起し、LLMの展開において知識衝突を考慮する必要性を浮き彫りにしている。

関連論文リスト

• CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering [53.7094431951084]
  知識に基づく視覚的質問応答(KB-VQA)は、知識集約的なタスクを扱う大きな可能性を示す。 視覚言語モデルにおける静的パラメトリック知識と動的に取得された情報との間には矛盾が生じる。 KB-VQAのトレーニングフリー・コンフリクト対応・相関対応手法としてtextbfCC-VQAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T11:56:26Z)
• That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation [55.78914774437411]
  大規模言語モデル(LLM)は、パラメトリック知識とプロンプトに含まれる矛盾する情報との相違に直面して振る舞う。 このような対立を構築・解釈するためのドメインに依存しないフレームワークを提案する。 本研究では, アクティベーションレベルのステアリングが, ランダムベースライン上でのステアリング成功率を最大12.6%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-10-21T22:27:56Z)
• Probing Latent Knowledge Conflict for Faithful Retrieval-Augmented Generation [46.03923254984181]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の現実性を高めるための強力なパラダイムとして登場した。 既存の文脈忠実性を改善するアプローチは、プロンプトエンジニアリング、デコード制約、報酬に基づく微調整など、外部からの介入に依存している。 文脈を微粒な文レベルの知識に分解するフレームワークであるCLEAR(Conflict-Localized and Enhanced Attention for RAG)を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:48:24Z)
• FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation [37.28571879699906]
  検索システムで強化された大規模言語モデル(LLM)は、知識集約的なタスクを扱う上で大きな可能性を示している。 本稿では,モデルパラメトリック知識と検索コンテキストの相違を明示的にモデル化することにより,知識の対立を解決する新しいフレームワークであるFaithfulRAGを提案する。
  論文  参考訳（メタデータ） (2025-06-10T16:02:54Z)
• Conflicts in Texts: Data, Implications and Challenges [58.03478157713084]
  矛盾は、状況の複雑さ、説明と対処が必要な変更、データアノテーションの難しさ、生成された出力の誤りを反映する可能性がある。 本調査ではこれらの矛盾を,(1)事実的矛盾,主観的偏見,および複数の視点が矛盾を生じさせるWeb上の自然テキスト,(2)注釈者がモデルトレーニングに影響を及ぼす注釈付きデータ,(3)幻覚と知識の衝突が発生するモデルインタラクションの3つの重要な領域に分類する。 我々は、対立する情報をより効果的に推論し、調整できる紛争対応NLPシステムの開発における重要な課題と今後の方向性を強調した。
  論文  参考訳（メタデータ） (2025-04-28T04:24:01Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Mitigating Knowledge Conflicts in Language Model-Driven Question Answering [15.29366851382021]
  2つの基本的な知識源は、文書ベースの質問応答と文書要約システムにおいて重要な役割を担っている。 近年の研究では、モデル固有の知識とトレーニングデータにおける基礎的真理解との間に不整合が存在する場合、システムは推論中に問題のある振る舞いを示す可能性があるという重要な課題が明らかにされている。 本研究は,ソース入力と出力との明示的な接続を構築することで,幻覚を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-18T07:33:10Z)
• Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
  大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。 しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。 これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2024-10-21T15:12:51Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Unraveling Cross-Modality Knowledge Conflicts in Large Vision-Language Models [33.76903352835436]
  LVLM(Large Vision-Language Models)は、マルチモーダル入力をキャプチャし、推論する能力を示す。 これらのモデルは、そのビジョンと言語コンポーネント間の表現された知識の不整合から生じるパラメトリックな知識の衝突を招きやすい。 我々は、それらを検出し、解釈し、緩和するための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:28Z)
• DYNAMICQA: Tracing Internal Knowledge Conflicts in Language Models [42.776896363518844]
  本研究では,メモリ内競合がLMのコンテキスト受容能力に及ぼす影響について検討した。 我々は、2つの知識衝突対策と、本質的に矛盾するデータを含む新しいデータセットであるDynamicQAを利用する。 我々は,単一真理値の事実と比較して,LMが動的事実とメモリ内衝突の程度が大きいことを検証した。
  論文  参考訳（メタデータ） (2024-07-24T06:06:07Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• Discerning and Resolving Knowledge Conflicts through Adaptive Decoding with Contextual Information-Entropy Constraint [20.543282448771336]
  本稿では,知識が相反するかどうかを識別し,解決するための適応的復号法を提案する。 実験により、COIECDは現実的なデータセットにおける知識の衝突に対して強い性能と堅牢性を示すことが示された。
  論文  参考訳（メタデータ） (2024-02-19T07:10:30Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
  本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。 このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。 elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-17T16:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。