論文の概要: Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention

• arxiv url: http://arxiv.org/abs/2610.41850v1
• Date: Fri, 30 Oct 2026 15:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.781918
• Title: Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention
• Title（参考訳）: 動的メモリ変圧器:一定コストを考慮した選択的リカレント記憶装置
• Abstract要約: 本稿では,情報読取からシーケンスエンコーディングを分離するハイブリッドアーキテクチャであるDynamical Memory Transformer(DMT)を提案する。 デコーダは、トークン履歴を通さずに、注意を使ってアウトプットを読み取り、組み合わせる。 DMT と Mamba と Transformer を比較し,その強みと限界を示す。
• 参考スコア（独自算出の注目度）: 2.118933003468525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers retain an explicit history of the sequence, allowing attention to directly retrieve past representations. However, the size of the KV-Cache and the cost of a new token increase with the context length. State Space Models compress the past into a fixed-size recurrent state, at the cost of reduced addressability. We present the Dynamical Memory Transformer (DMT), a hybrid architecture that separates sequence encoding from information reading. The encoder uses several memory units, each implemented by a dynamical system with a complex diagonal recurrent matrix. An input-dependent leak rate controls their updates. The decoder then uses attention to read and combine their outputs, without going through the token history. The formulation of the recurrence allows an associative scan with O(T ) total work and O(log T ) parallel depth, with fixed dimensions. During autoregressive inference, the recurrent states and the convolution cache remain fixed in size. We compare DMT with Mamba and Transformer on cognitive and language modeling tasks, and show its strengths and limitations: DMT achieves the best results on several cognitive tasks and language modeling performance close to that of Transformer, but remains behind Mamba in language modeling. On selective copy, DMT also shows stronger length extrapolation than Mamba and Transformer. These results demonstrate that parallel dynamical memory units are a promising mechanism for retaining and using information over sequences.
• Abstract（参考訳）: トランスフォーマーはシーケンスの明示的な履歴を保持しており、過去の表現を直接検索することができる。 しかし、KV-Cacheのサイズと新しいトークンのコストは、コンテキストの長さとともに増加する。 状態空間モデルは過去を固定サイズのリカレント状態に圧縮し、アドレス可能性を低減する。 本稿では,情報読取からシーケンスエンコーディングを分離するハイブリッドアーキテクチャであるDynamical Memory Transformer(DMT)を提案する。 エンコーダは複数のメモリユニットを使用し、それぞれが複雑な対角行列を持つ動的システムによって実装される。 入力依存のリークレートが更新を制御する。 デコーダは、トークン履歴を通さずに、注意を使ってアウトプットを読み取り、組み合わせる。 再発の定式化により、O(T) の全作業と O(log T ) 平行深さを固定次元で連想走査することができる。 自己回帰推論の間、リカレントステートと畳み込みキャッシュはサイズが固定されている。 DMT と Mamba と Transformer を比較し,その強みと限界を示す。 DMT は Transformer に近い認知タスクと言語モデリング性能で最高の結果を得るが,言語モデリングでは Mamba に後れを取っている。 選択的コピーでは、DMTはMambaやTransformerよりも長い外挿も見られる。 これらの結果から,並列動的メモリユニットはシーケンス上の情報を保持し,使用する上で有望なメカニズムであることが示された。

関連論文リスト

• BCMT: Blockwise Causal Memory Transformer [0.0]
  BCMT (Blockwise Causal Memory Transformer) は、長文言語モデリングのためのアーキテクチャである。 Dense causal self-attentionは、ローカルブロック内で独立に適用される。 各ブロックは指数因果メモリを介して集約された適応的な要約を生成する。
  論文  参考訳（メタデータ） (2026-07-06T22:20:55Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Mamba: Linear-Time Sequence Modeling with Selective State Spaces [31.985243136674146]
  ファンデーションモデルは、ほぼ普遍的にTransformerアーキテクチャとコアアテンションモジュールに基づいている。 このようなモデルの重大な弱点は、コンテンツベースの推論を実行できないことである。 我々はこれらの選択的なSSMを、注意やブロック(Mamba)を使わずに、単純化されたエンドツーエンドニューラルネットワークアーキテクチャに統合する(Mamba)。 一般的なシーケンスモデルバックボーンとして、Mambaは言語、オーディオ、ゲノミクスといったいくつかのモードで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:01:34Z)
• Recurrent Action Transformer with Memory [39.58317527488534]
  本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。 メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。 その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-06-15T19:29:08Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Token Turing Machines [53.22971546637947]
  Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。 我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
  論文  参考訳（メタデータ） (2022-11-16T18:59:18Z)
• Recurrent Memory Transformer [0.3529736140137003]
  メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。 入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。 我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
  論文  参考訳（メタデータ） (2022-07-14T13:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。