論文の概要: Continuous Memory Machines

• arxiv url: http://arxiv.org/abs/2610.07907v1
• Date: Tue, 06 Oct 2026 07:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.876186
• Title: Continuous Memory Machines
• Title（参考訳）: 連続記憶装置
• Abstract要約: 本稿では,行列値の短期記憶状態と長期記憶状態の繰り返しアーキテクチャであるContinuous Memory Machine (CMM)を紹介する。 短期記憶は最近の神経活動を追跡し、一意にパラメータ化されたニューロンレベルのモデルでこれらの活動パターンを計算に使用する。 永続的な長期記憶は後続使用のための情報を格納し、Transformerは両方のメモリストアを共同で更新する。
• 参考スコア（独自算出の注目度）: 5.919150747124057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks typically compress information into a single vector-valued recurrent state, forcing short-term computation and long-term retention to share the same representation. Past extensions alleviate this bottleneck by increasing the memory capacity or separating timescales, but lack the combination of rapid neuron-level processing and longer-term retention found in biology. To that end, we introduce the Continuous Memory Machine (CMM), a recurrent architecture with matrix-valued short- and long-term memory states serving distinct functional roles. Building on the Continuous Thought Machine (CTM), the CMM's short-term memory tracks recent neural activity, with uniquely parameterized neuron-level models learning to use these activity patterns for computation. A persistent long-term memory stores information for later use, with a Transformer jointly updating both memory stores, providing an expressive bidirectional read--write mechanism such that each store can reorganize its own contents and both read from and write to the other. Across algorithmic, in-context learning, and recurrent reasoning tasks, the CMM outperforms a broad suite of baselines, exhibiting stronger generalization than prior memory-augmented networks while preserving the CTM's interpretable attention patterns. Code is available at https://github.com/SakanaAI/continuous-memory-machines.
• Abstract（参考訳）: リカレントニューラルネットワークは通常、情報を単一のベクトル値のリカレント状態に圧縮し、短期計算と長期保持を強制的に同じ表現を共有する。 過去の拡張は、メモリ容量を増やしたり、時間スケールを分けることでこのボトルネックを軽減するが、素早いニューロンレベルの処理と生物学における長期保持の組み合わせは欠如している。 そこで我々はCMM(Continuous Memory Machine)を紹介した。これは行列値の短期記憶状態と長期記憶状態がそれぞれ異なる機能的役割を担っている再帰的アーキテクチャである。 連続思考マシン(Continuous Thought Machine, CTM)上に構築されているCMMの短期記憶は、最近の神経活動を追跡する。 永続的な長期記憶は、後続使用のための情報を記憶し、トランスフォーマーは、両方のメモリストアを共同で更新し、各ストアが自身のコンテンツを再編成し、読み書きできるような、表現力のある双方向の読み書き機構を提供する。 CMMはアルゴリズム、文脈内学習、反復推論タスク全体にわたって、幅広いベースラインを上回り、CTMの解釈可能な注意パターンを保ちながら、以前のメモリ拡張ネットワークよりも強力な一般化を示す。 コードはhttps://github.com/SakanaAI/continuous-Memory-machines.comで入手できる。

関連論文リスト

• Retrieval-Driven Memory Reconsolidation for Long-Term LLM Agents [39.55670043123564]
  既存のメモリシステムは、新しい情報が到着したときにメモリを更新する。 検索フィードバックは、将来のアクセスのためにメモリを再編成するために利用されることはめったにない。 LLMエージェントの長期記憶を継続的に進化させるフレームワークである textbfREALM を提案する。
  論文  参考訳（メタデータ） (2026-09-13T05:17:37Z)
• MemoryWAM: Efficient World Action Modeling with Persistent Memory [80.90899269062128]
  本稿では,効率的な永続メモリを持つ世界アクションモデルであるMemoryWAMを紹介する。 調整された注意機構は、詳細な短期コンテキストと圧縮された長期コンテキストの両方の検索を可能にする。 MemoryWAMは、シミュレーションと実世界の両方において、強力な視覚言語アクション(VLA)とWAMベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-18T17:59:51Z)
• Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks [69.19366746169906]
  本稿では,短期記憶を利用するビジュモータポリシーのためのトランスフォーマーベースのアーキテクチャであるPRISMを提案する。 海賊フィルタは情報を取得し、関連する詳細を抑え、性能を向上する。 階層アーキテクチャは、ローカル情報をコンパクトなトークンに圧縮し、計算とメモリフットプリントを改善する。
  論文  参考訳（メタデータ） (2026-06-15T03:49:23Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Trellis: Learning to Compress Key-Value Memory in Attention Models [48.12167339402521]
  本稿では,有界メモリを備えた新しいトランスフォーマーアーキテクチャであるTrellisを紹介する。 Trellisは標準のKVキャッシュを固定サイズのメモリに置き換え、新しいキーと値をメモリに格納する2パスのリカレント圧縮機構を訓練する。 言語モデリング、常識推論、リコール集約タスク、時系列に関する実験は、提案されたアーキテクチャが強力なベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-29T20:32:10Z)
• mGRADE: Minimal Recurrent Gating Meets Delay Convolutions for Lightweight Sequence Modeling [0.5236468296934584]
  mGRADEは、時間的1D-畳み込みと学習可能な間隔を統合したハイブリッドメモリシステムである。 我々は,mGRADEがマルチスケールの時間的特徴を効果的に分離し,保存することを示した。 これは、エッジにおけるメモリ制約付きマルチスケールの時間処理の効率的なソリューションとしてのmGRADEの約束を強調している。
  論文  参考訳（メタデータ） (2025-07-02T15:44:35Z)
• Lattice: Learning to Efficiently Compress the Memory [13.765057453744427]
  本稿では,キャッシュを一定数のメモリスロットに効率よく圧縮する新しいリカレントニューラルネットワーク(RNN)機構であるLatticeを紹介する。 我々は、この圧縮をオンライン最適化問題として定式化し、単一の勾配降下ステップに基づいて動的メモリ更新ルールを導出する。 実験結果から,Latticeはコンテキスト長の異なるすべてのベースラインと比較して,最も難易度が高いことがわかった。
  論文  参考訳（メタデータ） (2025-04-08T03:48:43Z)
• Cognitive Memory in Large Language Models [8.059261857307881]
  本稿では,Large Language Models (LLMs) における記憶機構について検討し,文脈に富む応答の重要性,幻覚の減少,効率の向上などを強調した。 メモリは、インプットプロンプト、短期記憶処理の即時コンテキスト、外部データベースや構造を介して実装された長期記憶に対応して、インプットプロンプト、短期記憶、長期記憶に分類する。
  論文  参考訳（メタデータ） (2025-04-03T09:58:19Z)
• MeMSVD: Long-Range Temporal Structure Capturing Using Incremental SVD [27.472705540825316]
  本論文は、長時間の時間窓上での人間の行動を認識すること(最大数分)を目標とする長期映像理解について述べる。 本稿では,Singular Value Decomposition を用いて取得したメモリの低ランク近似に基づくアテンションベースのスキームの代替を提案する。 提案手法には2つの利点がある: (a) 複雑度を1桁以上削減し, (b) メモリベース計算の効率的な実装が可能である。
  論文  参考訳（メタデータ） (2024-06-11T12:03:57Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。