論文の概要: Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods

• arxiv url: http://arxiv.org/abs/2603.16413v1
• Date: Tue, 17 Mar 2026 11:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.253072
• Title: Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods
• Title（参考訳）: 冷凍エンコーダ用トレーニング型永続メモリ-デコーダLLM:6つのアーキテクチャ手法
• Authors: Hong Jeong,
• Abstract要約: 凍結した言語モデルにおける永続メモリは、厳しいリソース制約の下でも実現可能であることを示す。 3つのインジェクションポイントと4つの書き込みメカニズムにまたがる6つのアーキテクチャ手法を実装した。 我々は、大規模モデル、大規模データ、大規模メモリによる完全なエンドツーエンドトレーニングが、より強力な結果をもたらすと論じている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frozen encoder--decoder language models are stateless: the latent representation is discarded after every forward pass, so no information persists across sessions. This paper presents a \textbf{proof-of-concept pilot study} showing that persistent memory in the \emph{continuous latent space} of a frozen LLM is feasible -- even under severe resource constraints (a single frozen Flan-T5-XL backbone, small trainable adapters, a single dataset). We implement six architectural methods spanning three injection points and four write mechanisms; unlike text-level memory systems, every write and read is a differentiable operation on dense vectors. After training only the adapter, the memory bank continues to accumulate at inference time without gradients, enabling \emph{conversational learning}. Under a forgetting-curve evaluation on LoCoMo at two capacity scales (1$\times$ and 10$\times$), the stateless baseline scores exactly zero; at 10$\times$ all six trained adapters produce positive memory-recall curves; at 1$\times$ three methods collapse, revealing capacity as a critical design parameter. Because the memory bank is a compact numerical array, it can be scaled to arbitrarily large capacity without altering the backbone. We argue that full end-to-end training with larger models, larger data, and orders-of-magnitude larger memory will yield substantially stronger results; this pilot study establishes the feasibility baseline and design-space taxonomy that such efforts require.
• Abstract（参考訳）: 凍結エンコーダ-デコーダ言語モデルはステートレスである: 潜伏表現はフォワードパス毎に破棄されるため、セッション間で情報は持続しない。 本稿では,凍結LDMの‘emph{continuous latent space}’における永続記憶が,厳密なリソース制約の下でも実現可能であることを示す,概念実証実験(単一凍結Flan-T5-XLバックボーン,小型トレーニング可能なアダプタ,単一データセット)を提案する。 3つのインジェクションポイントと4つの書き込みメカニズムにまたがる6つのアーキテクチャ手法を実装し、テキストレベルのメモリシステムとは異なり、すべての書き込みと読み込みは高密度ベクトル上で微分可能な操作である。 アダプタのみをトレーニングした後、メモリバンクはグラデーションなしで推論時に蓄積し続け、 \emph{conversational learning} を可能にする。 LoCoMoの2つのキャパシティスケール(1$\times$と10$\times$)での左折曲線評価では、ステートレスベースラインスコアは正確にゼロであり、10$\times$の6つのトレーニング済みアダプタはすべて正のメモリリコール曲線を生成し、1$\times$の3つのメソッドが崩壊し、重要な設計パラメータとしてキャパシティが明らかにされる。 メモリバンクはコンパクトな数値配列であるため、バックボーンを変更することなく任意に大容量にスケールすることができる。 我々は、大規模モデル、大規模データ、大規模メモリによるエンドツーエンドのトレーニングが、より強力な結果をもたらすと論じ、このパイロットスタディは、そのような取り組みに必要な実現可能性ベースラインと設計空間の分類を確立させる。

関連論文リスト

• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• Memory Bank Compression for Continual Adaptation of Large Language Models [1.9336815376402718]
  継続学習は、獲得した知識を消去することなく、新しい情報で大規模言語モデルを更新することを目的としている。 メモリ拡張アプローチは、LCMをメモリバンクに装備することでこの問題に対処する。 我々は,オンライン適応学習において,コードブック最適化戦略を通じてメモリバンクを圧縮するモデルMBCを提案する。
  論文  参考訳（メタデータ） (2026-01-02T17:22:34Z)
• Mem-α: Learning Memory Construction via Reinforcement Learning [20.916677456417464]
  大きな言語モデル(LLM)エージェントは、限られたコンテキストウィンドウによって制約される。 現在のメモリ拡張エージェントは、メモリ更新のための事前に定義された命令とツールに依存している。 Mem-alphaは、エージェントに複雑なメモリシステムを効果的に管理するように訓練する強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-09-30T08:02:34Z)
• Cut Your Losses in Large-Vocabulary Language Models [102.6981011879656]
  我々は,全トークンのロジットをグローバルメモリに実体化することなく,クロスエントロピー損失を計算する手法であるカットクロスエントロピー(CCE)を提案する。 CCEはロスのメモリフットプリントを24GBから1MBに減らし、ヘッドのトレーニング時間のメモリ消費を28GBから1GBに短縮する。
  論文  参考訳（メタデータ） (2024-11-13T20:30:15Z)
• BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
  大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。 textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
  論文  参考訳（メタデータ） (2024-10-31T13:26:11Z)
• $\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
  我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。 予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。 本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T11:07:23Z)
• Constrained Few-shot Class-incremental Learning [14.646083882851928]
  古いクラスの知識を忘れずに新しいデータから新しいクラスを継続的に学習することは、非常に難しい研究課題である。 本稿では,C-FSCILを提案する。C-FSCILは,凍結したメタ学習特徴抽出器,トレーニング可能な固定サイズ全接続層,動的に成長するメモリから構成される。 C-FSCILは3つの更新モードを提供し、新しいクラスを学習する際の正確性と計算メモリコストのトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-03-30T18:19:36Z)
• Layered gradient accumulation and modular pipeline parallelism: fast and efficient training of large language models [0.0]
  分散トレーニングのさまざまな構成について、可能な限り最短のトレーニング時間を分析します。 本稿では,最短トレーニング時間を半減する2つの新しい手法,テキスト層勾配蓄積法とテキストモジュールパイプライン並列化法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T19:21:49Z)
• TinyTL: Reduce Activations, Not Trainable Parameters for Efficient On-Device Learning [78.80707950262214]
  デバイス上での学習により、エッジデバイスはAIモデルを新しいデータに継続的に適応できる。 既存の作業は、トレーニング可能なパラメータの数を減らすことで、この問題を解決する。 メモリ効率の高いオンデバイス学習のためのTiny-Transfer-Learning(TinyTL)を提案する。
  論文  参考訳（メタデータ） (2020-07-22T18:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。