論文の概要: Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

• arxiv url: http://arxiv.org/abs/2606.21345v1
• Date: Fri, 19 Jun 2026 11:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 14:09:49.474945
• Title: Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process
• Title（参考訳）: LLMにおけるFactual Retrievalは冗長で分散的で非連続的なプロセスである
• Authors: Hail Hochman, Natalie Shapira, Yoav Goldberg,
• Abstract要約: 大規模言語モデル(LLM)は、事実の知識を記憶し、記憶する。 属性検索を実現するために,エンティティ表現がどのように変換されるかを検討する。 これらのパスは非連続的であり、しばしばスキップするレイヤであり、モデルが同じエンティティと事実に対して複数の機能的に等価なパスを持っていることに気付きます。
• 参考スコア（独自算出の注目度）: 25.541723868525253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) store and recall factual knowledge, yet the precise mechanism of how entity representations are transformed to enable specific attribute retrieval remains underexplored. In this work, we investigate this mechanism through the lens of an "attribute-computation path"-a sequence of computational steps over the entity representation required to elicit a target attribute. We then propose an iterative patching protocol to identify a minimal subset of layers necessary for this computation. Applying our method to LLaMA 3.1 8B and Qwen3 8B, we find that these paths are non-contiguous, often skipping layers, and that models possess multiple, functionally-equivalent paths for the same entity and fact, highlighting a high degree of redundancy in attribute computation. This implies that knowledge computation is highly distributed, potentially explaining the localization-editing mismatch and suggesting that knowledge storage and retrieval in LLMs is far from being well understood.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実知識を記憶し、記憶するが、エンティティ表現がどのように変換され、特定の属性の検索を可能にするかという正確なメカニズムはまだ解明されていない。 本研究では,この機構を「属性計算経路」のレンズを用いて検討し,対象属性を抽出するために必要なエンティティ表現に対する一連の計算ステップについて検討する。 次に,この計算に必要なレイヤの最小限のサブセットを特定するために,反復的パッチプロトコルを提案する。 LLaMA 3.1 8B と Qwen3 8B にメソッドを適用すると、これらのパスは非連続であり、しばしばスキップ層であり、モデルが同一の実体と事実に対して複数の機能的に等価なパスを持ち、属性計算における高い冗長性を浮き彫りにする。 このことは、知識計算が高度に分散しており、ローカライズ編集ミスマッチを説明できる可能性があり、LLMにおける知識の保存と検索が十分に理解されていないことを示唆している。

関連論文リスト

• Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。 本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。 複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
  論文  参考訳（メタデータ） (2026-03-03T14:25:02Z)
• Model-Document Protocol for AI Search [11.377241012645994]
  原文が大規模言語モデル (LLM) にどのようにブリッジされているかを形式化する汎用フレームワークである Model-Document Protocol (MDP) を導入する。 MDPは、検索をパスフェッチとして扱う代わりに、構造化されていない文書をタスク固有のLCM対応の入力に変換する複数の経路を定義している。 本稿では,エージェントプロセスを通じてプロトコルを実現するMPP-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-29T04:29:17Z)
• Rethinking Reasoning in LLMs: Neuro-Symbolic Local RetoMaton Beyond ICL and CoT [8.06437018518246]
  グローバルなデータストアをローカルなタスク適応重み付き有限オートマトンに置き換えることで、RetoMatonを拡張します。 この局所オートマトン構造は、シンボルトレーサビリティと低推論オーバーヘッドを維持しながら、堅牢でコンテキスト対応の検索を促進する。 我々の結果は、現代言語モデルにおける信頼できる象徴的な推論への有望なシフトを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-22T16:51:06Z)
• Layerwise Recall and the Geometry of Interwoven Knowledge in LLMs [0.0]
  本研究では,大規模言語モデル (LLM) が織り込んだ科学知識のエンコード方法について検討する。 周期表の概念構造と一致する隠れ状態の3次元スパイラル構造を同定する。 線形探索により、中間層は間接的リコールを可能にするような連続的な重なり合う属性を符号化し、深い層は分類的区別を鋭くし、言語的文脈を取り入れていることが明らかになった。
  論文  参考訳（メタデータ） (2025-02-15T18:08:51Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。