論文の概要: LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models

• arxiv url: http://arxiv.org/abs/2610.21594v1
• Date: Thu, 15 Oct 2026 09:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.308384
• Title: LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
• Title（参考訳）: LoopAhead: ループ言語モデルにおける高速デコーディングの予測
• Abstract要約: Looped Transformerは、同じTransformerレイヤを繰り返し適用することで、パラメータ効率を向上させる。 近年のパイプライン型自己投機的復号法では,早期ループ予測からのトークンの起草による遅延を低減している。 ループ変換器の投機的復号化フレームワークである Method を導入する。
• 参考スコア（独自算出の注目度）: 33.15244718105284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers improve parameter efficiency by repeatedly applying the same Transformer layers. However, generating each token still involves sequential computation and repeated access to model weights, leading to high decoding latency. Recent pipelined self-speculative decoding methods reduce this delay by drafting tokens from early-loop predictions and asynchronously advancing tokens at different recurrent depths in the same batch, but they do not fully exploit early-loop features for longer lookahead and still spend computation verifying incorrect speculative branches. We introduce \method, a speculative decoding framework for looped transformers that enables earlier drafting of future tokens and assigns complementary roles to different recurrent depths. A lightweight lookahead drafter (LAD) predicts multiple future tokens with early-loop states, and deeper-loop feedback helps decide which draft branches to continue and which to pause, while the full-depth model makes the final token decisions. LoopAhead achieves up to 7.82x decoding speedup over autoregressive decoding while preserving the target model's output distribution.
• Abstract（参考訳）: Looped Transformerは、同じTransformerレイヤを繰り返し適用することで、パラメータ効率を向上させる。 しかし、各トークンの生成にはシーケンシャルな計算とモデルウェイトへの繰り返しアクセスが伴うため、高い復号遅延が発生する。 最近のパイプライン化された自己投機的復号法は、早期ループ予測からトークンを起草し、同じバッチ内で異なる繰り返し深さで非同期にトークンを進行させることにより、この遅延を低減しているが、より長いルックアヘッドのために早期ループ機能を十分に活用せず、いまだに誤った投機的分岐を検証する計算に費やしていない。 ループ変換器の投機的復号化フレームワークである \method を導入し、将来のトークンを早期に起草し、相補的な役割を異なる再帰深さに割り当てる。 軽量なルックアヘッドドラフト(LAD)は、アーリーループステートで複数の将来のトークンを予測し、ディープループフィードバックは、どのドラフトブランチを継続するか、どれを一時停止するかを決定するのに役立ち、フル深度モデルは最終的なトークン決定を行う。 LoopAheadは、ターゲットモデルの出力分布を保ちながら、自己回帰デコードよりも最大7.82倍のデコード速度を達成する。

関連論文リスト

• Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers [51.96830872563455]
  Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。 自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。 本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
  論文  参考訳（メタデータ） (2026-09-28T08:04:19Z)
• LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers [16.277740642154402]
  ループトランスフォーマーは、リカレント深度毎に共有重みがアクセスされるため、標準トランスフォーマーモデルよりもデコードレイテンシが高い。 そこで我々は,Looped Transformersに適したトレーニング不要な自己投機的デコーディングフレームワークであるLoopSpecを提案する。 推論とコーディングベンチマーク全体で、LoopSpecは様々なLooped Transformer間で最大6.83$times$推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-09-15T13:43:31Z)
• T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing [31.346695540393657]
  Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。 本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。 動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T07:41:37Z)
• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Adaptive Multi-Step Lookahead Decoding for Diffusion Language Models [21.088701659053466]
  仮面拡散言語モデル (DLM) は、マスク付きトークンを反復精製することで並列テキスト生成を可能にする。 近年のルックアヘッドによる復号化手法は,将来的な復号化状態の探索により精度-効率トレードオフを改善する。 DLMデコーディングのための適応型ルックアヘッドフレームワークであるAdaLookを提案する。
  論文  参考訳（メタデータ） (2026-07-17T06:04:04Z)
• Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
  階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-10-22T15:56:19Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• FSR: Accelerating the Inference Process of Transducer-Based Models by Applying Fast-Skip Regularization [72.9385528828306]
  典型的なトランスデューサモデルは、現在の音響状態に条件付き出力シーケンスをデコードします。 予測結果に含まれる空白のトークンの数は、すべてのトークンの90%近くを占める。 本稿では,トランスデューサが予測する空白位置とCTCモデルが予測する空白位置を一致させようとする高速スキップ正規化法を提案する。
  論文  参考訳（メタデータ） (2021-04-07T03:15:10Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。