論文の概要: ExplicitLM: Decoupling Knowledge from Parameters via Explicit Memory Banks
- arxiv url: http://arxiv.org/abs/2511.01581v1
- Date: Mon, 03 Nov 2025 13:53:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:27.27906
- Title: ExplicitLM: Decoupling Knowledge from Parameters via Explicit Memory Banks
- Title（参考訳）: ExplicitLM: 明示的メモリバンクによるパラメータからの知識の分離
- Authors: Chengzhang Yu, Zening Lu, Chenyang Zheng, Chiyue Wang, Yiming Zhang, Zhanpeng Jin,
- Abstract要約: 大規模言語モデルは、暗黙の知識記憶による知識の安定性と解釈性の欠如に悩まされる。
トークンシーケンスとして可読性のある知識を格納する100万スケールの外部メモリバンクを備えた新しいアーキテクチャであるExplicitLMを提案する。
- 参考スコア（独自算出の注目度）: 4.099810580680816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models suffer from knowledge staleness and lack of interpretability due to implicit knowledge storage across entangled network parameters, preventing targeted updates and reasoning transparency. We propose ExplicitLM, a novel architecture featuring a million-scale external memory bank storing human-readable knowledge as token sequences, enabling direct inspection and modification. We design a differentiable two-stage retrieval mechanism with efficient coarse-grained filtering via product key decomposition (reducing complexity from $\mathcal{O}(N \cdot |I|)$ to $\mathcal{O}(\sqrt{N} \cdot |I|)$) and fine-grained Gumbel-Softmax matching for end-to-end training. Inspired by dual-system cognitive theory, we partition knowledge into frozen explicit facts (20%) and learnable implicit patterns (80%), maintained through Exponential Moving Average updates for stability. ExplicitLM achieves up to 43.67% improvement on knowledge-intensive tasks versus standard Transformers, with 3.62$\times$ gains in low-data regimes (10k samples). Analysis shows strong correlations between memory retrieval and performance, with correct predictions achieving 49% higher hit rates. Unlike RAG systems with frozen retrieval, our jointly optimized architecture demonstrates that interpretable, updatable models can maintain competitive performance while providing unprecedented knowledge transparency.
- Abstract（参考訳）: 大規模言語モデルは、絡み合ったネットワークパラメータにまたがる暗黙の知識ストレージによって、知識の安定化と解釈可能性の欠如に悩まされ、ターゲットとする更新や推論の透明性が防止される。
トークンシーケンスとして可読性のある知識を格納する100万規模の外部メモリバンクを特徴とする新しいアーキテクチャであるExplicitLMを提案する。
そこで我々は,製品鍵分解による粗粒度フィルタリングを効率的に行う2段階探索機構を設計し,その複雑さを$\mathcal{O}(N \cdot |I|)$から$\mathcal{O}(\sqrt{N} \cdot |I|)$に還元し,Gumbel-Softmaxマッチングをエンドツーエンドのトレーニングに適用した。
二重系認知理論に触発されて、我々は知識を凍結した明示的な事実(20%)と学習可能な暗黙のパターン(80%)に分割し、安定のための指数移動平均更新を通じて維持する。
ExplicitLMは知識集約型タスクと標準トランスフォーマーを最大43.67%改善し、3.62$\times$ gains in low-data regimes (10k sample)を達成している。
解析はメモリ検索と性能の間に強い相関関係を示し、正しい予測は49%高いヒット率を達成している。
凍結した検索を行うRAGシステムとは異なり、我々の共同最適化アーキテクチャは、解釈可能な最新モデルが前例のない知識透過性を提供しながら、競争性能を維持することを実証している。
関連論文リスト
- PersonalAI: A Systematic Comparison of Knowledge Graph Storage and Retrieval Approaches for Personalized LLM agents [15.524189150821147]
大規模言語モデル (LLM) とRetrieval-Augmented Generation (RAG) の組み合わせは、複雑な長期的相互作用においてスケールできない。
LLM自体によって自動的に構築・更新される知識グラフに基づくフレキシブルな外部メモリフレームワークを提案する。
AriGraphアーキテクチャに基づいて、標準エッジと2種類のハイパーエッジの両方をサポートする新しいハイブリッドグラフ設計を導入する。
本稿では,TriviaQA,HotpotQA,DiaASQ-demonstratingの3つのベンチマークを用いて,メモリと検索の異なる構成でタスクに応じて最適な性能が得られることを示す。
論文 参考訳（メタデータ） (2025-06-20T13:52:15Z) - KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。
ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。
本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
論文 参考訳（メタデータ） (2025-06-03T06:31:17Z) - Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory [0.5584627289325719]
大規模言語モデル(LLM)は、文脈的に一貫性のある応答を生成する際、顕著な進歩を示した。
しかし、それらの固定されたコンテキストウィンドウは、長時間のマルチセッション対話に対する一貫性を維持するための根本的な課題を生じさせる。
私たちはMem0というスケーラブルなメモリ中心アーキテクチャを導入し、進行中の会話から健全な情報を動的に抽出し、統合し、取得することでこの問題に対処します。
論文 参考訳（メタデータ） (2025-04-28T01:46:35Z) - TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。
TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
論文 参考訳（メタデータ） (2025-01-01T15:57:34Z) - UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。
スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
論文 参考訳（メタデータ） (2024-10-04T02:32:36Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z) - Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。
ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。
GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-07-15T15:20:40Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Discovering and Reasoning of Causality in the Hidden World with Large Language Models [109.62442253177376]
我々はCausal representatiOn AssistanT(COAT)と呼ばれる新しいフレームワークを開発し、因果発見に有用な測定変数を提案する。
大規模言語モデル (LLM) と因果関係を直接推論する代わりに、COAT は中間因果発見結果から LLM へのフィードバックを構築し、提案した変数を洗練させる。
論文 参考訳（メタデータ） (2024-02-06T12:18:54Z) - Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。
注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。
検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-06-12T15:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。