論文の概要: LSTM-UT and Recurrent-Depth Transformers on Cellular Automata

• arxiv url: http://arxiv.org/abs/2609.19521v1
• Date: Thu, 17 Sep 2026 00:17:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.036339
• Title: LSTM-UT and Recurrent-Depth Transformers on Cellular Automata
• Title（参考訳）: セルオートマタにおけるLSTM-UTと繰り返し深さ変換器
• Abstract要約: Recurrent-Depth Transformerは共有計算を何度も適用するが、ステップ間で情報を保持する方法が異なる。 我々は,現在の隠蔽状態のみを持つBlock Universal Transformer (BUT) と,注目キャッシュを拡大するCoTFormer,および有界ゲートメモリを備えた新しいLSTM Universal Transformer (LSTM-UT) を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent-depth Transformers apply shared computation repeatedly, but differ in how they retain information across steps. We compare a Block Universal Transformer (BUT), which carries only its current hidden state; CoTFormer, which also retains an expanding attention cache; and a new LSTM Universal Transformer (LSTM-UT) with bounded gated memory. On Rule 30 cellular automata, BUT extrapolates to unseen recurrent depths more reliably than CoTFormer, although its accuracy eventually degrades. State and cache interventions show that CoTFormer's failure depends on their interaction: correcting the current state can temporarily restore accuracy, while retained history can undermine that correction. In a delayed-recall task, BUT also outperforms CoTFormer despite lacking direct access to past states; CoTFormer does not reliably select the requested cached representation. LSTM-UT improves both depth extrapolation and delayed recall over these baselines. The results support bounded gated memory as an effective inductive bias for repeated computation and later retrieval in these tasks.
• Abstract（参考訳）: Recurrent-Depth Transformerは共有計算を何度も適用するが、ステップ間で情報を保持する方法が異なる。 我々は,現在の隠蔽状態のみを持つBlock Universal Transformer (BUT) と,注目キャッシュを拡大するCoTFormer,および有界ゲートメモリを備えた新しいLSTM Universal Transformer (LSTM-UT) を比較した。 Rule 30のセルオートマトンでは、BUTはCoTFormerよりも確実にリカレント深さを推定するが、精度は最終的に低下する。 状態とキャッシュの介入は、CoTFormerの障害が相互作用に依存することを示している。 遅延リコールタスクでは、過去の状態への直接アクセスが欠如しているにもかかわらず、BUTはCoTFormerよりも優れており、CoTFormerは要求されたキャッシュ表現を確実に選択しない。 LSTM-UTは、これらのベースラインに対する深さ外挿と遅延リコールの両方を改善する。 その結果,有界ゲートメモリは繰り返し計算や後続の検索に有効な帰納バイアスとなることがわかった。

関連論文リスト

• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Parallel Recursive LSTM [26.883902799977964]
  並列再帰型LSTM(Parallel Recursive LSTM)は,左から右への再帰を平衡計算木上の非線形状態合成に置き換える階層的再帰型アーキテクチャである。 PR-LSTMは、標準RNN、LSTM、Transformerベースラインよりも多くのタスクを解決し、注意の2次スケーリングを避けながら、フォーマルなベンチマーク上で強力なシーケンス長の一般化を実現する。
  論文  参考訳（メタデータ） (2026-05-16T18:28:59Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• CoMeT: Collaborative Memory Transformer for Efficient Long Context Modeling [40.705016911274]
  本稿では,LLMがメモリ使用量と線形時間複雑度を一定に保ちながら任意の長いシーケンスを処理できる新しいアーキテクチャを提案する。 CoMeTは最小限の微調整で事前訓練されたモデルに統合できる。 CoMeTと32kコンテキストに微調整されたモデルでは、1Mトークンシーケンス内の任意の位置からパスキーを正確に取得することができる。
  論文  参考訳（メタデータ） (2026-02-02T07:49:44Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts [5.585952216289788]
  トランスフォーマーモデルは、2次時間と線形メモリの複雑さのために、長いコンテキスト推論に苦しむ。 リカレントメモリ(RMT)は、コストの線形時間とメモリ使用量の一定を削減してソリューションを提供する。 しかし、メモリ更新メカニズムがシーケンシャルな実行を引き起こし、パフォーマンスのボトルネックが発生します。 本稿では,RTTのセグメント間の並列性を正確に保ちつつ,並列性を解放するスケジューリング手法であるDiagonalを紹介する。
  論文  参考訳（メタデータ） (2025-06-05T16:43:48Z)
• Block-Recurrent Transformers [49.07682696216708]
  本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。 我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
  論文  参考訳（メタデータ） (2022-03-11T23:44:33Z)
• Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations [51.77000472945441]
  Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。 実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。 本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
  論文  参考訳（メタデータ） (2021-12-16T19:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。