論文の概要: The Recurrent Transformer: Greater Effective Depth and Efficient Decoding

• arxiv url: http://arxiv.org/abs/2604.21215v1
• Date: Thu, 23 Apr 2026 02:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.248832
• Title: The Recurrent Transformer: Greater Effective Depth and Efficient Decoding
• Title（参考訳）: リカレントトランス:より効果的な深さと効率的な復号化
• Authors: Costin-Andrei Oncescu, Depen Morwani, Samy Jelassi, Alexandru Meterez, Mujin Kwun, Sham Kakade,
• Abstract要約: Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
• 参考スコア（独自算出の注目度）: 48.9323408950142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers process tokens in parallel but are temporally shallow: at position $t$, each layer attends to key-value pairs computed based on the previous layer, yielding a depth capped by the number of layers. Recurrent models offer unbounded temporal depth but suffer from optimization instability and historically underutilize modern accelerators. We introduce the Recurrent Transformer, a simple architectural change where each layer attends to key-value pairs computed off its own activations, yielding layerwise recurrent memory while preserving standard autoregressive decoding cost. We show that the architecture can emulate both (i) a conventional Transformer and (ii) token-to-token recurrent updates under mild assumptions, while avoiding optimization instability. Naively, prefill/training appears bandwidth-bound with effective arithmetic intensity near $1$ because keys and values are revealed sequentially; we give an exact tiling-based algorithm that preserves the mathematical computation while reducing HBM traffic from $Θ(N^2)$ to $Θ(N\log N)$, increasing effective arithmetic intensity to $Θ(N/\log N)$ for sequence length $N$. On 150M and 300M parameter C4 pretraining, Recurrent Transformers improve cross-entropy over a parameter-matched Transformer baseline and achieve the improvement with fewer layers (fixed parameters), suggesting that recurrence can trade depth for width, thus reducing KV cache memory footprint and inference latency.
• Abstract（参考訳）: トランスフォーマーはトークンを並列に処理するが、時間的に浅い: 位置$t$では、各レイヤが前のレイヤに基づいて計算されたキーと値のペアに付随し、レイヤの数がカプセル化された深さになる。 リカレントモデルは非有界時間深度を提供するが、最適化の不安定性に悩まされ、歴史的に現代の加速器を利用できない。 Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随するシンプルなアーキテクチャ変更であり、標準の自己回帰復号コストを保ちながら、階層的に繰り返しメモリを生成する。 アーキテクチャが両方をエミュレートできることを示します。 一 従来の変圧器及び変圧器 (ii) 最適化の不安定性を回避しつつ、軽度な仮定でトークンからトークンへの更新を繰り返す。 キーと値がシーケンシャルに明らかにされるため、効率のよい算術強度が1ドル近くで帯域幅に束縛され、HBMのトラフィックを$s(N^2)$から$s(N\log N)$に減らしながら数学的計算を保存し、効率のよい算術強度を$s(N/\log N)$に高め、シーケンス長$N$に対して$s(N/\log N)$にする正確なタイリングベースのアルゴリズムを提供する。 150Mと300MのパラメータC4事前トレーニングでは、Recurrent TransformerはパラメータマッチングされたTransformerベースラインのクロスエントロピーを改善し、より少ないレイヤ(固定パラメータ)で改善を実現する。

関連論文リスト

• SCORE: Replacing Layer Stacking with Contractive Recurrent Depth [0.0]
  残余接続は、現代のディープニューラルネットワークの中心である。 本稿では,従来の層積み重ねに代わる離散的再帰型 SCORE (Skip-Connection ODE Recurrent Embedding) を提案する。
  論文  参考訳（メタデータ） (2026-03-11T08:49:03Z)
• Hyperparameter Transfer Laws for Non-Recurrent Multi-Path Neural Networks [10.793433622094959]
  マルチパスニューラルネットワークに有効な深度の概念をグラフベースで導入する。 最適学習速度は, 普遍的な -3/2 電力法則に従って, 有効深度で減衰することを示す。 実験は予測された斜面を確認し、深度と幅をまたいだ学習率の信頼性の高いゼロショット転送を可能にする。
  論文  参考訳（メタデータ） (2026-02-07T11:10:54Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• Tensor Train Multiplication [0.0]
  TTMアルゴリズムの計算複雑性とメモリ要件はそれぞれ$chi3$と$chi2$である。 これは従来のアプローチに比べて大幅に改善されている。 TTMアルゴリズムは、大きな結合次元を持つ計算流体力学問題のGPU加速テンソルネットワークシミュレーションへの道を開く。
  論文  参考訳（メタデータ） (2024-10-10T12:36:49Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)
• TCNCA: Temporal Convolution Network with Chunked Attention for Scalable Sequence Processing [52.64837396100988]
  MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。 線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。 我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
  論文  参考訳（メタデータ） (2023-12-09T16:12:25Z)
• DeepPCR: Parallelizing Sequential Operations in Neural Networks [4.241834259165193]
  我々は、ニューラルネットワークの推論とトレーニングを高速化するために、典型的にはシーケンシャルな操作を並列化する新しいアルゴリズムであるDeepPCRを紹介する。 DeepPCRは、特定の方程式系の解法として$L$のステップ列を解釈し、並列サイクル還元アルゴリズムを用いて回復する。 アルゴリズムの理論的に低い複雑性を検証し,高速化のための機構を同定するために,多層パーセプトロンの前方・後方パスの並列化におけるDeepPCRの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-28T10:15:30Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。