論文の概要: Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process

• arxiv url: http://arxiv.org/abs/2606.21345v1
• Date: Fri, 19 Jun 2026 11:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 14:09:49.474945
• Title: Factual Retrieval in LLMs Is a Redundant, Distributed and Non-Contiguous Process
• Title（参考訳）: LLMにおけるFactual Retrievalは冗長で分散的で非連続的なプロセスである
• Abstract要約: 大規模言語モデル(LLM)は、事実の知識を記憶し、記憶する。 属性検索を実現するために,エンティティ表現がどのように変換されるかを検討する。 これらのパスは非連続的であり、しばしばスキップするレイヤであり、モデルが同じエンティティと事実に対して複数の機能的に等価なパスを持っていることに気付きます。
• 参考スコア（独自算出の注目度）: 25.541723868525253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) store and recall factual knowledge, yet the precise mechanism of how entity representations are transformed to enable specific attribute retrieval remains underexplored. In this work, we investigate this mechanism through the lens of an "attribute-computation path"-a sequence of computational steps over the entity representation required to elicit a target attribute. We then propose an iterative patching protocol to identify a minimal subset of layers necessary for this computation. Applying our method to LLaMA 3.1 8B and Qwen3 8B, we find that these paths are non-contiguous, often skipping layers, and that models possess multiple, functionally-equivalent paths for the same entity and fact, highlighting a high degree of redundancy in attribute computation. This implies that knowledge computation is highly distributed, potentially explaining the localization-editing mismatch and suggesting that knowledge storage and retrieval in LLMs is far from being well understood.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実知識を記憶し、記憶するが、エンティティ表現がどのように変換され、特定の属性の検索を可能にするかという正確なメカニズムはまだ解明されていない。 本研究では,この機構を「属性計算経路」のレンズを用いて検討し,対象属性を抽出するために必要なエンティティ表現に対する一連の計算ステップについて検討する。 次に,この計算に必要なレイヤの最小限のサブセットを特定するために,反復的パッチプロトコルを提案する。 LLaMA 3.1 8B と Qwen3 8B にメソッドを適用すると、これらのパスは非連続であり、しばしばスキップ層であり、モデルが同一の実体と事実に対して複数の機能的に等価なパスを持ち、属性計算における高い冗長性を浮き彫りにする。 このことは、知識計算が高度に分散しており、ローカライズ編集ミスマッチを説明できる可能性があり、LLMにおける知識の保存と検索が十分に理解されていないことを示唆している。

関連論文リスト

• Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models [24.764929711765944]
  マシンアンラーニングは、汎用性を維持しながら、スクラッチからリトレーニングすることなく、指定された知識を除去しようとする。 既存のプライバシ指向のベンチマークでは、主にプロファイルレベルの削除が採用されているが、実用的な要求はよりきめ細かいものが多い。 属性レベルのMLLMアンラーニングをよりきめ細かなタスクとして導入し、長文、数値、短文ターゲット、複数忘れ率、多様な質問タイプにまたがるベンチマークを構築した。 評価の結果,対象属性と保持属性が識別特異性および視覚的証拠を共有していることが判明した。
  論文  参考訳（メタデータ） (2026-08-02T05:23:44Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• The Context Gathering Decision Process: A POMDP Framework for Agentic Search [38.92972416925679]
  大規模言語モデル(LLM)エージェントは複雑な環境にデプロイされる。 明示的なインフラストラクチャがなければ、エージェントの動作メモリは、検索状態の損失のある表現に分解される可能性がある。 我々はこの課題をコンテキスト収集決定プロセス(CGDP)として定式化する。 反復LDM剤に対する2つのプラグ・アンド・プレイ介入法を導出する。
  論文  参考訳（メタデータ） (2026-05-07T23:45:07Z)
• Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data [52.80567461420316]
  メモリ拡張LPMに基づくマルチエージェントシステム(textbfMALMAS)を提案する。 MALMASは生成プロセスを独立した責任を持つエージェントに分解し、ルータエージェントはイテレーション毎にエージェントの適切なサブセットを起動する。 さらに、手続きメモリ、フィードバックメモリ、概念記憶を含むメモリモジュールを統合し、その後の特徴生成を適応的に導く反復的改善を可能にする。
  論文  参考訳（メタデータ） (2026-04-22T07:09:30Z)
• Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
  大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。 本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。 複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
  論文  参考訳（メタデータ） (2026-03-03T14:25:02Z)
• Model-Document Protocol for AI Search [11.377241012645994]
  原文が大規模言語モデル (LLM) にどのようにブリッジされているかを形式化する汎用フレームワークである Model-Document Protocol (MDP) を導入する。 MDPは、検索をパスフェッチとして扱う代わりに、構造化されていない文書をタスク固有のLCM対応の入力に変換する複数の経路を定義している。 本稿では,エージェントプロセスを通じてプロトコルを実現するMPP-Agentを提案する。
  論文  参考訳（メタデータ） (2025-10-29T04:29:17Z)
• Rethinking Reasoning in LLMs: Neuro-Symbolic Local RetoMaton Beyond ICL and CoT [8.06437018518246]
  グローバルなデータストアをローカルなタスク適応重み付き有限オートマトンに置き換えることで、RetoMatonを拡張します。 この局所オートマトン構造は、シンボルトレーサビリティと低推論オーバーヘッドを維持しながら、堅牢でコンテキスト対応の検索を促進する。 我々の結果は、現代言語モデルにおける信頼できる象徴的な推論への有望なシフトを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-22T16:51:06Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Layerwise Recall and the Geometry of Interwoven Knowledge in LLMs [0.0]
  本研究では,大規模言語モデル (LLM) が織り込んだ科学知識のエンコード方法について検討する。 周期表の概念構造と一致する隠れ状態の3次元スパイラル構造を同定する。 線形探索により、中間層は間接的リコールを可能にするような連続的な重なり合う属性を符号化し、深い層は分類的区別を鋭くし、言語的文脈を取り入れていることが明らかになった。
  論文  参考訳（メタデータ） (2025-02-15T18:08:51Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。