Fugu-MT 論文翻訳(概要): Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules

論文の概要: Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules

arxiv url: http://arxiv.org/abs/2605.29075v1
Date: Wed, 27 May 2026 20:29:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-30 02:45:55.447215
Title: Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules
Title（参考訳）: 知識のオフロード: LLMをスパースバックボーンとメモリモジュールに分解する
Abstract要約: 本稿では,事前学習したLDMを,疎結合のバックボーンとドメイン固有の記憶に組み込むフレームワークを提案する。 3Bから8BまでのLlamaモデルとQwenモデル全体で、モデル能力に大きな損失を伴わずに、非自明なキャパシティを共有バックボーンから移動できることが判明した。
参考スコア（独自算出の注目度）: 15.262187270149582
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: LLMs encode both general capabilities and domain-specific knowledge in a single set of parameters. We ask whether this capacity can be reorganized: keeping broadly useful computation in a shared backbone, while moving specialized knowledge into external memory modules. We propose \emph{knowledge offloading} (KOFF), a framework for decomposing a pretrained LLM into a sparse shared backbone and domain-specific memories. Starting from a frozen base model, we jointly learn a structured pruning mask and lightweight recovery modules, implemented as LoRA adapters and learned key-value caches. Across Llama and Qwen models from 3B to 8B, we find that non-trivial capacity can be moved out of the shared backbone without a large loss in model ability. At around 12\% global sparsity, KOFF preserves much of the unpruned model's performance, while pruning the same frozen model without memories degrades sharply. Ablations show that LoRA and learned KV memories are complementary, and specialization analyses suggest that the learned decomposition is meaningful: language-specific neurons are preferentially removed while language-general neurons largely remain in the backbone. These results suggest that knowledge can be reallocated between a shared core and swappable external memories.
Abstract（参考訳）: LLMは一般的な能力とドメイン固有の知識を一つのパラメータ集合にエンコードする。専門知識を外部メモリモジュールに移行しながら、共有バックボーンに広く有用な計算を保ちながら、この能力を再編成できるかどうかを問う。本稿では,事前学習したLDMを疎共有のバックボーンとドメイン固有の記憶に分解するフレームワークである「emph{knowledge offloading} (KOFF)」を提案する。凍結ベースモデルから始めて、構造化プルーニングマスクと軽量リカバリモジュールを共同で学習し、LoRAアダプタとして実装し、キー値キャッシュを学習する。 3Bから8BまでのLlamaモデルとQwenモデル全体で、モデル能力に大きな損失を伴わずに、非自明なキャパシティを共有バックボーンから移動できることが判明した。世界の約12倍の間隔で、KOFFは未切断モデルの性能の多くを保ちながら、同じ凍結モデルでメモリなしでプルーニングすると急激に劣化する。アブレーションは、LoRAと学習したKV記憶は相補的であり、特殊化分析は、学習された分解が有意義であることを示唆している:言語特異的ニューロンは優先的に除去され、言語一般ニューロンは概ね背骨に残る。これらの結果は,共有コアと交換可能な外部記憶の間で知識が再配置可能であることを示唆している。

関連論文リスト

Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文参考訳（メタデータ） (2026-08-24T13:56:01Z)
LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining [37.40399441420589]
大規模言語モデル(LLM)は、様々なアプリケーションで顕著なブレークスルーを達成した。 2つの専用モジュールで標準デコーダを拡張する新しいLLMアーキテクチャであるLoKiFormerを提案する。実験の結果、LoKiFormerはベースラインモデルよりも事前トレーニングで1.33倍早く収束することがわかった。
論文参考訳（メタデータ） (2026-08-12T07:45:11Z)
RecMem: Recurrence-based Memory Consolidation for Efficient and Effective Long-Running LLM Agents [16.625864201773343]
RecMemは、受信するインタラクションをサブ意識のメモリ層に格納し、軽量な埋め込みモデルを使用してエンコードする。実験により、RecMemは3つのSOTAメモリシステムのメモリ構築トークンコストを最大87%削減し、精度を上回ります。
論文参考訳（メタデータ） (2026-05-15T15:17:36Z)
Understanding LoRA as Knowledge Memory: An Empirical Analysis [20.53732426953178]
本稿では,Low-Rank Adaptation (LoRA) をモジュール型知識メモリとして用いたパラメトリック手法について検討する。このギャップをLoRAベースのメモリの設計空間をマッピングする最初の体系的な経験的研究を通して埋める。以上の結果から,LORAはRAG,ICCと相補的な記憶軸として位置づけられた。
論文参考訳（メタデータ） (2026-03-01T13:28:57Z)
Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning [49.274436951541425]
MLLM(Multimodal Large Language Models)は優れた能力を発揮するが、プライバシーに敏感な情報を不注意に記憶することができる。既存の未学習の手法は、しばしばモデルの一般的な画像理解性能を劣化させるため、良心的な忘れを達成できない。本稿では, メモリ領域のメモリ領域への忘れを抑えつつ, 全体的な機能を維持するSculpted Forgetting Adapter (SMFA)を提案する。
論文参考訳（メタデータ） (2025-11-25T11:22:45Z)
Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文参考訳（メタデータ） (2025-08-27T12:26:55Z)
MemOS: A Memory OS for AI System [116.87568350346537]
大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
論文参考訳（メタデータ） (2025-07-04T17:21:46Z)
MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,大規模言語モデル(LLM)の拡張手法であるMemLLMを紹介する。実験の結果, 言語モデリング, 特に知識集約型タスクにおいて, MemLLMはLLMの性能と解釈可能性を向上させることが示唆された。
論文参考訳（メタデータ） (2024-04-17T18:13:16Z)
CAMELoT: Towards Large Language Models with Training-Free Consolidated Associative Memory [38.429707659685974]
大規模言語モデル(LLM)は、メモリとランタイムのコストが高いため、長い入力シーケンスを扱うのに苦労する。本稿では,事前学習した(凍結した)注意に基づくLCMに再学習せずに結合可能な連想記憶モジュールを提案する。 CAMELoTと呼ばれるこのアーキテクチャは、128トークンの小さなコンテキストウィンドウでも優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-21T01:00:17Z)
RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文参考訳（メタデータ） (2023-05-23T17:53:38Z)
SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文参考訳（メタデータ） (2023-04-26T07:25:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。