論文の概要: How Large Language Models Balance Internal Knowledge with User and Document Assertions

• arxiv url: http://arxiv.org/abs/2604.22193v1
• Date: Fri, 24 Apr 2026 03:43:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.331941
• Title: How Large Language Models Balance Internal Knowledge with User and Document Assertions
• Title（参考訳）: 大規模言語モデルは内部知識とユーザとドキュメントの知識のバランスをとるか
• Authors: Shuowei Li, Haoxin Li, Wenda Chu, Yi Fang,
• Abstract要約: 大きな言語モデル(LLM)は、内部のパラメトリック知識と外部情報のバランスをとる必要があることが多い。 モデルがこれらのソースを確実に処理できる能力は、システムの安全性の鍵となる。
• 参考スコア（独自算出の注目度）: 14.45011438097133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) often need to balance their internal parametric knowledge with external information, such as user beliefs and content from retrieved documents, in real-world scenarios like RAG or chat-based systems. A model's ability to reliably process these sources is key to system safety. Previous studies on knowledge conflict and sycophancy are limited to a binary conflict paradigm, primarily exploring conflicts between parametric knowledge and either a document or a user, but ignoring the interactive environment where all three sources exist simultaneously. To fill this gap, we propose a three-source interaction framework and systematically evaluate 27 LLMs from 3 families on 2 datasets. Our findings reveal general patterns: most models rely more on document assertions than user assertions, and this preference is reinforced by post-training. Furthermore, our behavioral analysis shows that most models are impressionable, unable to effectively discriminate between helpful and harmful external information. To address this, we demonstrate that fine-tuning on diverse source interaction data can significantly increase a model's discrimination abilities. In short, our work paves the way for developing trustworthy LLMs that can effectively and reliably integrate multiple sources of information. Code is available at https://github.com/shuowl/llm-source-balancing.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、RAGやチャットベースのシステムのような現実のシナリオにおいて、内部のパラメトリック知識と、取得したドキュメントからのユーザ信条やコンテンツといった外部情報とのバランスをとる必要があることが多い。 モデルがこれらのソースを確実に処理できる能力は、システムの安全性の鍵となる。 知識の対立と梅毒に関するこれまでの研究は、主にパラメトリック知識と文書またはユーザ間の対立を探求する二項衝突のパラダイムに限られるが、3つの情報源が同時に存在する対話環境を無視している。 このギャップを埋めるために,2つのデータセット上の3つのファミリーから27のLLMを体系的に評価する3ソースインタラクションフレームワークを提案する。 多くのモデルはユーザアサーションよりもドキュメントアサーションに依存しており、この嗜好はポストトレーニングによって強化されている。 さらに,行動分析の結果,ほとんどのモデルは印象的であり,有用な外部情報と有害な外部情報とを効果的に識別できないことがわかった。 これを解決するために、多様なソースインタラクションデータに対する微調整がモデルの識別能力を著しく向上させることを示した。 簡単に言うと、我々の研究は、複数の情報源を効果的かつ確実に統合できる信頼できるLCMを開発するための道を開く。 コードはhttps://github.com/shuowl/llm-source-balancing.comで入手できる。

関連論文リスト

• Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
  信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である 本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
  論文  参考訳（メタデータ） (2026-03-05T18:42:51Z)
• That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation [55.78914774437411]
  大規模言語モデル(LLM)は、パラメトリック知識とプロンプトに含まれる矛盾する情報との相違に直面して振る舞う。 このような対立を構築・解釈するためのドメインに依存しないフレームワークを提案する。 本研究では, アクティベーションレベルのステアリングが, ランダムベースライン上でのステアリング成功率を最大12.6%向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-10-21T22:27:56Z)
• Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict [13.091464232666835]
  大規模言語モデルは文脈知識とパラメトリックメモリの両方を必要とするが、これらの情報源は一致しない。 本稿では,モデルの信念とキュレートされた知識集合との間の不一致を自動的に検出する,モデルに依存しない診断フレームワークを用いて,この問題を考察する。 競合によるパフォーマンス劣化は、タスクの知識依存と相関している。
  論文  参考訳（メタデータ） (2025-06-06T19:20:23Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Why So Gullible? Enhancing the Robustness of Retrieval-Augmented Models against Counterfactual Noise [14.38859858538404]
  検索された文書セットでは、「関連」文書でさえ誤った情報や誤った情報を含むことがある。 我々の研究は、"関連"文書でさえ誤った情報や誤った情報を含む、より困難なシナリオを調査します。 本稿では,識別器を明示的に微調整したり,GPT-3.5に識別能力の付与を促すことによって,検索した文書間の知識衝突を処理する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-02T16:28:10Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval [12.514666775853598]
  対話型モデルと非対話型モデルの利点を活用する新しいフレームワークを提案する。 非対話型アーキテクチャ上でモデルを構築できる半対話型機構を導入するが、各文書を関連付けられた多言語クエリと共にエンコードする。 本手法は,計算効率を維持しながら検索精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-03T03:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。