論文の概要: Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

• arxiv url: http://arxiv.org/abs/2511.01706v1
• Date: Mon, 03 Nov 2025 16:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.322227
• Title: Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement
• Title（参考訳）: Rank-2 subspace Disentanglement を用いた多段階知識相互作用解析
• Authors: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein,
• Abstract要約: 自然言語説明(NLE)は、外部コンテキスト知識(CK)とパラメトリック知識(PK)の両方をモデル重みに格納することで決定する。 先行研究は、通常最終解である単一ステップ生成のみを概ね検討し、ランク1部分空間における二項選択としてのみ PK と CK の相互作用をモデル化している。 そこで本研究では,PKとCKがより正確に絡み合うような新しいランク2プロジェクション部分空間を提案し,より長いNLE配列をまたいだ知識相互作用の多段階解析に利用した。
• 参考スコア（独自算出の注目度）: 36.99679669584112
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.
• Abstract（参考訳）: 自然言語説明(NLE)は、外部コンテキスト知識(CK)とパラメトリック知識(PK)の両方をモデル重みに格納して、Large Language Models(LLM)がどのように意思決定を行うかを記述している。 それらの相互作用を理解することは、NLEの基底を評価する鍵であるが、まだ解明されていない。 先行研究は、通常最終解である単一ステップ生成のみを概ね検討し、ランク1部分空間における二項選択としてのみ PK と CK の相互作用をモデル化している。 これは、補完的な知識や支持的な知識など、よりリッチな相互作用形式を見落としている。 そこで本研究では,PKとCKがより正確に絡み合うような新しいランク2プロジェクション部分空間を提案し,より長いNLE配列をまたいだ知識相互作用の多段階解析に利用した。 4つのQAデータセットと3つのオープン・ウェイト・インストラクション・チューニング LLM 実験により、多様な知識相互作用はランク1のサブ空間では表現できないが、ランク2の定式化では効果的に捉えられることが示された。 多段階解析の結果、幻覚NLEはPK方向と強く一致し、文脈に忠実なNLEはPKとCKのバランスを保ち、NLEが生成するCKへのシフトの連鎖はPK依存を減らすことで促進されることがわかった。 この研究はLLMにおける多段階知識相互作用の体系的な研究のための最初のフレームワークを提供する。 コードとデータ:https://github.com/copenlu/pk-ck-knowledge-disentanglement

関連論文リスト

• Dual Knowledge-Enhanced Two-Stage Reasoner for Multimodal Dialog Systems [81.87703298503374]
  テキスト応答生成を促進するために,多言語モデル(LLM)による二重知識(テキスト属性と非構造化レビュー知識)を完全に活用することを目的としている。 マルチモーダルダイアログシステム(DK2R)にLLMを適用した二段階二段階推論器を提案する。
  論文  参考訳（メタデータ） (2025-09-09T14:55:28Z)
• KScope: A Framework for Characterizing the Knowledge Status of Language Models [25.355263922501475]
  LLM知識モードの整合性と正当性に基づく5つの知識状態の分類法を導入する。 次に、知識モードに関する仮説を段階的に洗練する統計テストの階層的なフレームワークであるKScopeを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:06:05Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models [85.13298925375692]
  大規模言語モデル(LLM)は、事前訓練中に大量の知識を符号化する。 LLMは文脈知識(CK)を取り入れることで拡張できる LLMは複雑な問題を解決するために、内部PKと外部CKを効果的に統合できるのか?
  論文  参考訳（メタデータ） (2024-10-10T23:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。