論文の概要: Knowledge Capsules: Structured Nonparametric Memory Units for LLMs

• arxiv url: http://arxiv.org/abs/2604.20487v2
• Date: Thu, 23 Apr 2026 09:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.053009
• Title: Knowledge Capsules: Structured Nonparametric Memory Units for LLMs
• Title（参考訳）: 知識カプセル:LLMのための構造化非パラメトリックメモリユニット
• Authors: Bin Ju, Shenfeng Weng, Danying Zhou, Rongkai Xu, Kunkai Su,
• Abstract要約: 大規模言語モデル(LLM)はパラメトリックウェイトで知識を符号化し、再トレーニングすることなく更新や拡張にコストがかかる。 Retrieval-augmented Generation (RAG)は、検索したテキストを入力に追加することで、この制限を緩和するが、コンテキスト拡張を通じて純粋に動作する。 正規化された関係知識を表す非パラメトリックメモリユニットである知識カプセルを提案する。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) encode knowledge in parametric weights, making it costly to update or extend without retraining. Retrieval-augmented generation (RAG) mitigates this limitation by appending retrieved text to the input, but operates purely through context expansion, where external knowledge competes as tokens within the attention mechanism. As a result, its influence is indirect and often unstable, particularly in long context and multi hop reasoning scenarios. We propose Knowledge Capsules, structured nonparametric memory units that represent normalized relational knowledge and can be constructed directly from document corpora using a frozen base model. Instead of injecting knowledge as text, we introduce an External Key Value Injection (KVI) framework that compiles capsules into attention-compatible key value representations, enabling external knowledge to directly participate in the model's attention computation. By shifting knowledge integration from context-level augmentation to memory level interaction, the proposed framework consistently outperforms RAG and GraphRAG across multiple QA benchmarks, with improved stability and accuracy in long context and multi hop reasoning, while requiring no parameter updates.
• Abstract（参考訳）: 大規模言語モデル(LLM)はパラメトリックウェイトで知識を符号化し、再トレーニングすることなく更新や拡張にコストがかかる。 Retrieval-augmented Generation (RAG)は、検索したテキストを入力に追加することでこの制限を緩和するが、外部知識が注意機構内のトークンとして競合するコンテキスト拡張を通じて純粋に動作する。 その結果、その影響は間接的で不安定であり、特に長いコンテキストやマルチホップ推論のシナリオでは不安定である。 本稿では,正規化された関係知識を表現し,凍結ベースモデルを用いて文書コーパスから直接構築可能な,構造化された非パラメトリックメモリユニットであるナレッジカプセルを提案する。 我々は、知識をテキストとして注入する代わりに、カプセルをアテンション互換なキーバリュー表現にコンパイルする外部キーバリューインジェクション(KVI)フレームワークを導入し、外部知識がモデルのアテンション計算に直接参加できるようにする。 知識統合をコンテキストレベルの拡張からメモリレベルのインタラクションにシフトすることで、提案フレームワークは複数のQAベンチマークでRAGとGraphRAGを一貫して上回り、長いコンテキストでの安定性と精度、マルチホップ推論を改善し、パラメータ更新を必要としない。

関連論文リスト

• MERIT: Memory-Enhanced Retrieval for Interpretable Knowledge Tracing [23.48465917752293]
  大きな言語モデル(LLM)は強力な推論能力を提供するが、限られたコンテキストウィンドウや幻覚に苦しむ。 MERIT(Memory-Enhanced Retrieval for Interpretable Knowledge Tracing)は,凍結LDM推論と構造化ペタゴジカルメモリを組み合わせた学習自由フレームワークである。 LLMを解釈可能なメモリにグラウンドすることで、MERITは勾配更新なしで現実世界のデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-03T10:07:38Z)
• How Much Reasoning Do Retrieval-Augmented Models Add beyond LLMs? A Benchmarking Framework for Multi-Hop Inference over Hybrid Knowledge [26.8497597881469]
  HybridRAG-Benchは、ハイブリッド知識よりも検索集約的なマルチホップ推論を評価するためのベンチマークを構築するためのフレームワークである。 そこで,HybridRAG-Benchはパラメトリックリコールよりも真の検索と推論に報いることを示す。
  論文  参考訳（メタデータ） (2026-02-10T19:04:01Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• RePo: Language Models with Context Re-Positioning [10.269249887819988]
  In-context Learning is fundamental to modern Large Language Models (LLMs) 一般的なアーキテクチャは、線形または定位置の指標を割り当てることで、厳密で固定された文脈構造を課します。 本稿では,コンテキスト再配置による余剰負荷を低減する機構であるRePoを提案する。
  論文  参考訳（メタデータ） (2025-12-16T13:30:30Z)
• Representation Interventions Enable Lifelong Unstructured Knowledge Control [54.86207134539453]
  大規模言語モデル(LLM)は、しばしば誤った、または時代遅れのコンテンツを生成します。その知識を効率的に正確に更新し、コストのかかる再トレーニングなしにするというのは、大きな課題です。 本稿では,モデル表現空間内の介入として知識制御を扱う,堅牢でスケーラブルな手法であるRILKEを紹介する。 トレーニング中、RILKEはパラフレーズロバストと編集局所化モジュールを学び、低次元のサブスペースへの更新を制限し、クロスディジット干渉を最小限に抑える。 推論において、クエリ適応ルータは、モデル生成をガイドする適切なモジュールを選択する。
  論文  参考訳（メタデータ） (2025-11-25T22:15:00Z)
• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Oreo: A Plug-in Context Reconstructor to Enhance Retrieval-Augmented Generation [28.568010424711563]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の機能強化を目的としている。 生成に使用する前に検索したチャンクを洗練するために設計された,コンパクトで効率的な,プラグ可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2025-02-18T16:38:39Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。