Fugu-MT 論文翻訳(概要): Towards In-Parameter Memory Augmentation for Large Language Models

論文の概要: Towards In-Parameter Memory Augmentation for Large Language Models

arxiv url: http://arxiv.org/abs/2610.08630v1
Date: Tue, 06 Oct 2026 16:27:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 02:58:30.108496
Title: Towards In-Parameter Memory Augmentation for Large Language Models
Title（参考訳）: 大規模言語モデルのためのパラメータ内メモリ拡張に向けて
Abstract要約: In-context Learning (ICL) と ICL ベースのエージェントハーネスはフレキシブルだが、コンテキスト容量を消費し、コンテキスト長とともに増大する離散化符号化コストを発生させる。この調査は、デプロイ時にそのようなパラメトリックメモリでLCMを増強する手法に焦点を当てる。メモリを格納するパラメータオブジェクトは、推論中にフォワードパスにプラグインされる。
参考スコア（独自算出の注目度）: 47.22309601208
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recently Large Language Models (LLMs) and LLM-based agents increasingly need to incorporate knowledge acquired after pretraining, e.g., domain facts, user preferences, documents, and interaction experience. In-context learning (ICL) and ICL-based agent harness remain flexible, but they consume context capacity and incur repeated discretized encoding cost that grows with context length. \textbf{In-parameter memory} offers a complementary substrate: reusable memory information is represented in model parameters, adapters, or other parameter-like objects that are composed into the forward pass at inference time. This survey focuses on methods that augment LLMs with such parametric memory at deployment: a memory-bearing parameter object is plugged into the forward pass during inference, whether it is acquired before or during deployment. We organize the landscape with two orthogonal axes: \textbf{Parameter Placement}, which includes Embedding, Attention, FFN layers, or Hybrid when two or more layers are used; and \textbf{Parameter Acquisition Time}, which distinguishes methods whose memory object is acquired during deployment (online) from those acquired before it (offline). We clarify boundaries, conduct comparisons, and discuss open directions in interference, safety, co-design with ICL, and recursive self-improvement.
Abstract（参考訳）: 最近、LLM(Large Language Models)やLLM(Large Language Models)ベースのエージェントは、事前トレーニング、例えば、ドメイン事実、ユーザの好み、ドキュメント、対話経験から得られる知識を組み込む必要がある。 In-context Learning (ICL) と ICL ベースのエージェントハーネスはフレキシブルだが、コンテキスト容量を消費し、コンテキスト長とともに増大する離散化符号化コストを発生させる。再利用可能なメモリ情報はモデルパラメータ、アダプタ、その他のパラメータのようなオブジェクトで表現され、推論時にフォワードパスに合成される。この調査は、そのようなパラメトリックメモリをデプロイ時に拡張する手法に焦点を当てている。メモリを格納するパラメータオブジェクトは、推論中に前方パスに挿入される。エンベディング,アテンション,FFNレイヤ,ハイブリッドなどの2層以上のレイヤを使用した場合のランドスケープと,デプロイメント(オンライン)中にメモリオブジェクトが取得されたメソッド(オフライン)を区別する‘textbf{Parameter Acquisition Time},という2つの直交軸でランドスケープを編成する。我々は、境界を明確にし、比較を行い、干渉、安全性、ICLとの協調設計、再帰的自己改善のオープンな方向性について議論する。

論文の概要: Towards In-Parameter Memory Augmentation for Large Language Models

関連論文リスト