論文の概要: Recurrent Looped Transformer

• arxiv url: http://arxiv.org/abs/2610.07591v1
• Date: Tue, 06 Oct 2026 01:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.745843
• Title: Recurrent Looped Transformer
• Title（参考訳）: リカレントループ変換器
• Abstract要約: Recurrent Looped Transformerはレイヤを並列因果エンコーダとリカレントデコーダに分割する。 2つのRTTは各シードで100%精度でパリティを256ビットに分割し、トランスフォーマーは偶然に残る。 トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTTは最終状態の精度が97%に達し、Transformerは1%以下になった。
• 参考スコア（独自算出の注目度）: 7.464241214592479
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State tracking requires an update at every input, but the depth a Transformer applies to each token is fixed regardless of sequence length. We introduce the Recurrent Looped Transformer (RLT), which splits its layers between a parallel causal encoder and a recurrent decoder. At each token, the decoder merges the encoder output with the previous token's final decoder state, so the computation path grows with sequence length at a fixed per-token cost. On six algorithmic tasks, we compare five splits of eight layers with an eight-layer Transformer over three seeds. Trained on at most 40 bits, two RLT splits generalize parity to 256 bits with 100% accuracy in every seed, while the Transformer stays at chance. On swap-based $S_5$ permutation tracking at eight times the training length, RLT reaches 97% final-state accuracy versus under 1% for the Transformer, and accuracy increases with decoder depth. On modular arithmetic beyond the training lengths, RLT reaches up to 93% versus 33% for the Transformer. Ablations show that these gains depend on the feedback: removing it drops parity and swap-based $S_5$ to chance at every split. Updating the feedback once per four-token chunk lets known tokens in a chunk run in parallel and keeps 64-bit parity at 99%, while permutation tracking depends on per-token feedback: chunking lowers length-64 swap-based $S_5$ from 100% to 20%.
• Abstract（参考訳）: 状態トラッキングには入力毎に更新が必要であるが、Transformerが各トークンに適用する深さは、シーケンスの長さに関わらず固定される。 本稿では,Recurrent Looped Transformer (RLT)を導入し,その層を並列因果エンコーダと再帰復号器に分割する。 各トークンにおいて、デコーダは、エンコーダ出力と前のトークンの最終デコーダ状態とをマージするので、計算パスは、固定のトーケンコストでシーケンス長で成長する。 6つのアルゴリズムタスクにおいて,8層からなる5つの分割と8層トランスフォーマーを3つの種に対して比較した。 最低40ビットでトレーニングされた2つのRTL分割は、各シードで100%精度でパリティを256ビットに一般化する一方、トランスフォーマーは偶然に残る。 トレーニング長の8倍のスワップベースの$S_5$置換トラッキングでは、RTLはトランスフォーマーの1%以下に対して最終状態の精度が97%に達し、デコーダの深さによって精度が向上する。 トレーニング長を超えるモジュラー演算では、RTTは最大93%、Transformerは最大33%に達する。 削除するとパリティが低下し、スワップベースの$S_5$がスワップされる。 チャンキングは長さ64スワップベースの$S_5$を100%から20%に下げる。

関連論文リスト

• Trading Depth for Time in Recurrent Transformers [61.2977190038771]
  リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-18T10:34:51Z)
• Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation [0.3882135185458233]
  Transformer Accelerator (TFA) は、Transformer推論のためのシンセサイザー可能な、パラメータ化可能なINT8メモリ・ツー・メモリエンジンである。 TFAは行列乗法、ソフトマックス、RMSNorm、要素演算、コピー/ガザ演算を8つの512ビットマクロ-op記述子で実装している。 RTLは出力定常多重累積配列と、DMAと計算の重なり合うピンポンバッファ、ビットエクサクサク逆二乗根と分割単位、キー値キャッシュと埋め込みアドレス処理、およびアボトセーフゼロパディング書き込みエンジンを結合する。
  論文  参考訳（メタデータ） (2026-08-06T06:59:25Z)
• Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers [0.0]
  出力が安定すると、各トークンが4.94平均ループで均一な深さ8品質に達すると、各トークンを停止する訓練自由規則を示す。 同じモデルから抽出された収束ラベルに基づいて訓練された線形ルータは、ほぼ完全な深さを必要とし、還元しない。 実際の高速化ではなく,3点壁面ブラケットを用いたFLOPプロキシとしての平均深度を報告する。
  論文  参考訳（メタデータ） (2026-07-15T23:38:44Z)
• The Context-Ready Transformer [0.0]
  我々は、D層トランスブロックから構築された新しいリカレントニューラルネットワークアーキテクチャである、コンテキストレディトランスを導入する。 補正ネットワークは、前の位置のブロック出力と現在のトークン埋め込みを結合し、トークンエンターは、既にコンテキスト化されたブロックを挿入する。 事前訓練された変換器は、ゼロd補正を加えることで文脈対応モデルに変換することもできる。
  論文  参考訳（メタデータ） (2026-06-25T20:39:26Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)
• Token Shift Transformer for Video Classification [34.05954523287077]
  トランスフォーマーは1次元信号と2次元信号の理解において顕著な成功を収める。 エンコーダは自然にペアワイズ・セルフアテンションのような計算集約的な操作を含む。 本稿では,各トランスエンコーダ内の時間関係をモデル化するためのToken Shift Module(TokShift)を提案する。
  論文  参考訳（メタデータ） (2021-08-05T08:04:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。