論文の概要: T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing
- arxiv url: http://arxiv.org/abs/2609.15160v1
- Date: Mon, 14 Sep 2026 07:41:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.170383
- Title: T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing
- Title（参考訳）: T-LoopFormer:動的ルーティングによる遅延推論のためのToken-Level Elastic-Depth Looped Transformer
- Abstract要約: Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。
本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。
動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
- 参考スコア（独自算出の注目度）: 31.346695540393657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Looped Transformers have recently demonstrated strong performance in both reasoning and language tasks by reusing a shared set of parameters across multiple iterations, achieving parameter efficiency without sacrificing representational power. Besides, looped Transformers perform inference directly in the latent space (latent reasoning) to reduce the number of tokens consumed during inference, thereby achieving improved sample efficiency. However, these models typically apply a fixed recursion depth uniformly to every token, leading to suboptimal compute allocation and leaving significant efficiency gains on the table. In this work, we propose \textbf{dynamic token-choice routing} for looped transformers, enabling each token to adaptively determine its own number of loop iterations based on its hidden state. We use a dynamic router to decide whether a token should continue recursing or exit early, allowing simple tokens to bypass unnecessary computation while hard tokens receive deeper processing. To ensure that this adaptive mechanism does not compromise decoding efficiency, we further introduce recursion-wise KV caching, which maintains an independent key-value cache for each recursion loop. This design ensures that tokens at different depths only attend to their corresponding cached states, effectively eliminating redundant computations for exited tokens and enabling fast autoregressive decoding. Extensive experiments show that T-LoopFormer reaches the sota performance under the same parameters on PPL and 10 zero-shot reasoning tasks, even surpassing the base model at 24x FLOPs and our model could reach the lowest inference latency, which validate the effectiveness of token-choice router and recursion-wise KV cache. Code: https://github.com/YuMingQian1234/T-LoopFormer.
- Abstract（参考訳）: ループトランスフォーマーは、最近、複数のイテレーションにまたがるパラメータの共有セットを再利用し、表現力を犠牲にすることなくパラメータ効率を達成することにより、推論と言語タスクの両方で強力なパフォーマンスを示している。
さらに、ループ変換器は潜時空間(潜時推論)で直接推論を行い、推論中に消費されるトークンの数を減らし、サンプリング効率を向上させる。
しかしながら、これらのモデルは通常、すべてのトークンに固定再帰深さを均一に適用し、最適以下の計算割り当てをもたらし、テーブルにかなりの効率性を残します。
本研究では,ループ変換器に対する‘textbf{dynamic token-choice routing’を提案する。
動的ルータを使用して、トークンが再帰的あるいは早期に終了するかどうかを判断し、ハードトークンがより深い処理を受ける間、単純なトークンが不要な計算をバイパスすることを可能にする。
さらに、この適応機構が復号効率を損なわないよう、再帰的KVキャッシュを導入し、各再帰ループに対して独立鍵値キャッシュを維持する。
この設計により、異なる深さのトークンが対応するキャッシュ状態にのみ対応することを保証し、出口トークンの冗長な計算を効果的に排除し、高速な自己回帰復号を可能にする。
T-LoopFormer は PPL と 10 のゼロショット推論タスクで同じパラメータでソータ性能に到達し,ベースモデルを 24 倍の FLOP で上回り,我々のモデルは最低推論遅延に到達し,トークン選択ルータと再帰的KV キャッシュの有効性を検証した。
コード:https://github.com/YuMingQian1234/T-LoopFormer
関連論文リスト
- LoopMTP: A looped transformer guided by latent multi-token prediction [2.2694459418593698]
MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。
textscLoopMTPは、非ループベースラインよりも平均精度を最大8.1%向上させる。
論文 参考訳（メタデータ） (2026-08-04T13:13:09Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。
そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。
DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2026-04-22T12:42:03Z) - Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。
しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。
LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
論文 参考訳（メタデータ） (2026-02-09T17:58:23Z) - DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers [28.595962720945348]
変換器は多くのタスクにまたがって最先端の結果を得るが、2次自己注意の均一な適用により計算コストがかかる。
改良されたトランスフォーマーアーキテクチャであるDynamic Token Routing Networkを導入し、トークンがクロストークンミキシングの2次コストを動的にスキップできるようにする。
論文 参考訳（メタデータ） (2025-08-31T16:21:21Z) - Change of Thought: Adaptive Test-Time Computation [0.0]
自己変換器は反復的推論の表現力の多くを回復する。
自己変換器は、注意重みを一定点まで反復的に洗練する。
論文 参考訳（メタデータ） (2025-07-17T23:12:57Z) - Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
本研究では,Mixture-of-Recursions (MoR)を導入した。
MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。
また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
論文 参考訳（メタデータ） (2025-07-14T17:49:00Z) - One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning [13.831457888508892]
マルチターン推論データセット上での微調整大型言語モデル(LLM)では、会話毎にN(ターン数)の前方通過が必要となる。
本稿では,会話全体のシングルパス処理を可能にするために,応答トークンの複製と,カスタムアテンションマスクを提案する。
論文 参考訳（メタデータ） (2025-04-25T10:46:56Z) - TORE: Token Recycling in Vision Transformers for Efficient Active Visual Exploration [2.177039289023855]
アクティブ・ビジュアル・エクスプロレーション(AVE)は、実世界のシナリオにおけるロボット資源の利用を最適化し、最も情報性の高い観測を順次選択する。
我々はToken Recycling (TORE)と呼ばれる新しいアプローチをAVEに導入する。
エンコーダを抽出器と集約器に分割し、抽出器はそれぞれの観察を別々に処理し、集約器に渡されるトークンの再利用を可能にする。
論文 参考訳（メタデータ） (2023-11-26T15:39:57Z) - Paraformer: Fast and Accurate Parallel Transformer for
Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。
出力トークンの数を正確に予測し、隠れた変数を抽出する。
10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2022-06-16T17:24:14Z) - Funnel-Transformer: Filtering out Sequential Redundancy for Efficient
Language Processing [112.2208052057002]
本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。
Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
論文 参考訳（メタデータ） (2020-06-05T05:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。