論文の概要: LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers

• arxiv url: http://arxiv.org/abs/2609.17184v1
• Date: Tue, 15 Sep 2026 13:43:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.547344
• Title: LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
• Title（参考訳）: LoopSpec: ループ変換器のためのパイプライン型自己スペクトル復号法
• Abstract要約: ループトランスフォーマーは、リカレント深度毎に共有重みがアクセスされるため、標準トランスフォーマーモデルよりもデコードレイテンシが高い。 そこで我々は,Looped Transformersに適したトレーニング不要な自己投機的デコーディングフレームワークであるLoopSpecを提案する。 推論とコーディングベンチマーク全体で、LoopSpecは様々なLooped Transformer間で最大6.83$times$推論スピードアップを達成する。
• 参考スコア（独自算出の注目度）: 16.277740642154402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers achieve strong performance with compact parameter sizes by repeatedly applying a shared stack of Transformer blocks across recurrent depths. However, they incur higher decoding latency than standard Transformer models of comparable parameter size because shared weights are accessed at every recurrent depth. To improve decoding efficiency, self-speculative decoding is particularly well suited to Looped Transformers, as their intermediate recurrent states can directly provide draft predictions without an auxiliary draft model. We therefore propose LoopSpec, a training-free self-speculative decoding framework tailored for Looped Transformers. LoopSpec extracts draft tokens from early recurrent states and operates in a pipelined manner, overlapping draft generation of future tokens with target verification of the current token. To improve draft accuracy without excessive compute overhead, we introduce a selective second proposal from deeper recurrent depth while ensuring lossless decoding under both greedy and sampling regimes. Furthermore, we derive the optimal proposal depths in closed form and show the prediction matches measurement. Across reasoning and coding benchmarks, LoopSpec achieves up to 6.83$\times$ inference speedup across diverse Looped Transformers.
• Abstract（参考訳）: ループ変換器は、繰り返しの深さをまたいで共有されたTransformerブロックのスタックを繰り返し適用することにより、コンパクトなパラメータサイズで高い性能を達成する。 しかし、共有重みは再帰深度毎にアクセスされるため、同等のパラメータサイズの標準Transformerモデルよりもデコードレイテンシが高い。 復号効率を向上させるために、自己投機的復号法はループ変換器に特に適しており、その中間の逐次状態は補助的なドラフトモデルなしで直接ドラフト予測を行うことができる。 そこで我々は,Looped Transformersに適したトレーニング不要な自己投機的デコーディングフレームワークであるLoopSpecを提案する。 LoopSpecは、初期リカレントステートからドラフトトークンを抽出し、パイプライン方式で動作し、現在のトークンのターゲット検証と将来のトークンのドラフト生成を重複させる。 過度な計算オーバヘッドを伴わずにドラフト精度を向上させるため,より深い再帰深度から選択的な第2提案を導入するとともに,無損失復号化を実現する。 さらに, クローズドな形状の最適提案深度を導出し, 予測一致の測定結果を示す。 推論とコーディングベンチマーク全体で、LoopSpecは様々なLooped Transformer間で最大6.83$\times$推論スピードアップを達成する。

関連論文リスト

• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Full-bandwidth transformer [19.176565344686043]
  自己回帰変換器は、2つの軸に沿って計算する。 我々は、このチャネルをエンフラテントフィードバックで拡張するエンフルバンド幅変換器を導入する。 遅延フィードバックにより、非バーバル化された計算は、新しい深度予算でスタックに再入力できる。
  論文  参考訳（メタデータ） (2026-08-09T19:59:45Z)
• LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization [14.897282681862324]
  投機的復号化は、並列検証のために複数のトークンを起草することで、大きな言語モデル推論を加速する。 トレーニング不要でプラグアンドプレイのアルゴリズムである textitLibraSpec を開発した。
  論文  参考訳（メタデータ） (2026-08-09T14:15:14Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Chunk, Align, Select: A Simple Long-sequence Processing Method for Transformers [24.109312575970456]
  そこで本研究では,オフザシェルフ事前学習型トランスフォーマーにおいて,より長いシーケンス処理を実現するための簡単なフレームワークを提案する。 提案手法では,各時系列入力をチャンクのバッチに分割し,エンコーディングステップ中にインターチャンク情報をアライメントする。 我々は,変圧器のデコーダを環境とみなす効果的な隠れ選択ポリシーを学習する。
  論文  参考訳（メタデータ） (2023-08-25T05:52:05Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。