論文の概要: Trading Depth for Time in Recurrent Transformers

• arxiv url: http://arxiv.org/abs/2609.21605v1
• Date: Fri, 18 Sep 2026 10:34:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.024683
• Title: Trading Depth for Time in Recurrent Transformers
• Title（参考訳）: リカレント変圧器の時間的トレーディング深さ
• Abstract要約: リカレント・トランスフォーマーは時間的繰り返しによって計算深度を増大させる。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙単位のバックボーンフォワードパスを保持するLRT(Latent Recurrent Transformer)を用いて,この問題を考察する。
• 参考スコア（独自算出の注目度）: 61.2977190038771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Transformers increase computational depth through temporal recurrence, feeding each token's high-level hidden state into the computation of the next. This raises a natural question: is additional computation better spent on more temporal steps or greater physical depth? We investigate this question using Latent Recurrent Transformers (LRTs), which retain one backbone forward pass per vocabulary token during decoding and provide a controlled setting for comparing these two ways of adding computation. Specifically, we insert a latent thought token between consecutive vocabulary tokens. Each thought token passes through the same $L$ layers as a vocabulary token, sharing the backbone parameters and providing an additional stage of hidden-state refinement before predicting the next token. We compare this $L$-layer LRT against a $2L$-layer LRT without thought tokens. Both execute $2L$ Transformer blocks per vocabulary token during decoding, but the thought-token model uses fewer parameters. On 16- and 20-layer mixture-of-experts NanoChat backbones, one thought token brings the shallower model within 0.006 and 0.004 bits per byte of its double-depth counterpart, recovering 67% and 81% of the improvement with approximately 48% fewer total parameters. These results suggest that temporal thinking offers a parameter-efficient alternative to increasing physical depth in recurrent Transformers.
• Abstract（参考訳）: リカレントトランスフォーマーは、時間的繰り返しを通じて計算深度を増大させ、各トークンのハイレベルな隠蔽状態を次の計算に入力する。 追加の計算は、より時間的なステップやより深い物理深度に費やされているか? 本稿では,復号化時に語彙トークン毎に1つのバックボーンフォワードパスを保持する潜在リカレントトランスフォーマー(LRT)を用いてこの問題を調査し,この2つの計算方法を比較するための制御設定を提供する。 具体的には,連続する語彙トークンの間に潜在的思考トークンを挿入する。 各シンクトークンは、ボキャブラリトークンと同じ$L$レイヤを通過し、バックボーンパラメータを共有し、次のトークンを予測する前に、隠れ状態のリファインメントの新たなステージを提供する。 この$L$-layer LRTと2L$-layer LRTを思考トークンなしで比較する。 どちらもデコード中に語彙トークン毎に2L$Transformerブロックを実行するが、シンクツーケンモデルではパラメータが少ない。 16層と20層からなるNanoChatのバックボーンでは、シンクトークンが2倍深度で0.006ビットと0.004ビットの浅いモデルをもたらし、全体のパラメータを約48%減らして改善の67%と81%を回復した。 これらの結果から, 時間的思考は, リカレントトランスフォーマーの物理的深度増加に代えて, パラメータ効率がよいことが示唆された。

関連論文リスト

• LoopMTP: A looped transformer guided by latent multi-token prediction [2.2694459418593698]
  MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。 textscLoopMTPは、非ループベースラインよりも平均精度を最大8.1%向上させる。
  論文  参考訳（メタデータ） (2026-08-04T13:13:09Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• StagFormer: Time Staggering Transformer Decoding for RunningLayers In Parallel [16.03039380465818]
  Transformerベースの言語モデルでのデコーディングは本質的にシーケンシャルである。次のトークンの生成が始まる前に、トークンの埋め込みがネットワーク内のすべてのレイヤを通過する必要があるからだ。 本稿では,シーケンス軸に沿って実行をステージングし,モデル深度に沿って復号処理を並列化可能にする新しいアーキテクチャStagFormerを提案する。
  論文  参考訳（メタデータ） (2025-01-26T20:09:11Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Dynamic Token-Pass Transformers for Semantic Segmentation [22.673910995773262]
  セマンティックセグメンテーションのための動的トークン・パス・ビジョン・トランスフォーマー(DoViT)を導入する。 DoViTは、部分的に簡単なトークンを自己注意計算から徐々に停止させ、停止基準を満たすまでハードトークンを前進させ続ける。 提案手法は, 約40%$sim$ 60% FLOPsを低減し, mIoUの低下は, 各種セグメンテーション変圧器の0.8%以内である。
  論文  参考訳（メタデータ） (2023-08-03T06:14:24Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。