論文の概要: Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers

• arxiv url: http://arxiv.org/abs/2609.34538v1
• Date: Mon, 28 Sep 2026 08:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:42:29.052596
• Title: Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
• Title（参考訳）: 浅度クエリと成熟値:ループ変換器の深さ非同期自己分析
• Abstract要約: Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。 自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。 本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
• 参考スコア（独自算出の注目度）: 51.96830872563455
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Looped Transformers reuse a shared block across recurrent depths, making autoregressive decoding expensive because every generated token requires many sequential recurrent passes. Self-speculative decoders reduce this cost by drafting at an early depth and verifying at full depth, but typically bind draft computation to prefix representations from the same recurrent depth. We find that queries and keys approach their final-depth representations earlier than values, and controlled prefix-channel interventions show that mature values substantially improve shallow draft predictions. Motivated by this asymmetry, we introduce Depth-Asynchronous Self-Speculation (DAS), which decouples the depth of draft computation from the depth of verified-prefix representations it reads. Its Mature-V primitive lets shallow queries retrieve full-depth prefix values without additional recurrent computation. We further develop DAS-Wave, which combines depth-asynchronous prefix reads with carried parallel refinement, progressive block growth, and an independent full-depth verifier. Across four recurrent-model checkpoints and mathematics and code workloads, DAS-Wave achieves 4.00--6.96$\times$ mean throughput speedup over paired full-depth autoregressive decoding in the same inference stack. These results identify prefix-information depth as an effective design axis for recurrent self-speculation.
• Abstract（参考訳）: ループトランスフォーマーは再帰的な深さにわたって共有ブロックを再利用するので、自動回帰復号化はコストがかかる。 自己投機的デコーダは、初期深度でドラフトし、全深度で検証することでこのコストを削減するが、通常、同じ繰り返し深度からのプレフィックス表現にドラフト計算を結合する。 クエリとキーは、値よりも早く最終深度表現に近づき、制御されたプレフィックスチャネルの介入は、成熟した値が浅いドラフト予測を大幅に改善することを示している。 この非対称性に動機づけられたDepth-Asynchronous Self-Speculation (DAS)を導入し、読み込む検証済みの表現の深さからドラフト計算の深さを分離する。 そのMature-Vプリミティブは、より浅いクエリで、追加の逐次計算なしで、完全なプレフィックス値を取得することができる。 我々はさらに、DAS-Waveを開発し、DAS-Waveは、deep-asynchronous prefix read with carried parallel refinement, Progress block growth, and an independent full-deepth verifierである。 DAS-Waveは4つのリカレントモデルチェックポイントと数理およびコードワークロードで、4.00--6.96$\times$平均スループットのスピードアップを達成する。 これらの結果は, プレフィックス情報深度を, 繰り返し自己特定のための効果的な設計軸として同定した。

関連論文リスト

• WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models [8.374784970639263]
  Wavefront Decoding (WFD) は、ループ言語モデル用に設計されたトレーニング不要の自己投機的デコーディングフレームワークである。 WFDは2つの特性を利用する: 中間繰り返し出力は効果的なドラフト予測を提供し、ウェイトシェアリングは異なる位置におけるトークン状態と繰り返し深さを1回のバッチ・リカレント・ブロック呼び出しで処理することを可能にする。
  論文  参考訳（メタデータ） (2026-09-19T14:08:07Z)
• LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers [16.277740642154402]
  ループトランスフォーマーは、リカレント深度毎に共有重みがアクセスされるため、標準トランスフォーマーモデルよりもデコードレイテンシが高い。 そこで我々は,Looped Transformersに適したトレーニング不要な自己投機的デコーディングフレームワークであるLoopSpecを提案する。 推論とコーディングベンチマーク全体で、LoopSpecは様々なLooped Transformer間で最大6.83$times$推論スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-09-15T13:43:31Z)
• Depth Exploration for LLM Decoding [0.920033202445524]
  LLM復号は、中間深度で多くのトークンが予測可能であるにもかかわらず、すべての生成されたトークンをフル層スタックを通して評価する。 深度探索復号法 (DEX) を提案し, 単一深度選択を複数の候補深度での並列探索に置き換える。 DEXは、代表的な深さ選択ベースラインより優れ、投機的および分散復号法と競合するエンドツーエンドスループットを実現する。
  論文  参考訳（メタデータ） (2026-06-28T06:22:09Z)
• Depth Adaptive Efficient Visual Autoregressive Modeling [18.16894544431278]
  視覚自己回帰(VAR)モデリングは、高解像度画像を生成する際に、各位置に対して非効率に固定された計算深度を適用する。 本稿では,トークン全体のプルーニングから,トークンごとの計算深度を適応的に割り当てるパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2026-04-19T06:59:34Z)
• Depth Anything with Any Prior [64.39991799606146]
  Prior Depth Anythingは、深さ測定における不完全だが正確な計量情報と深さ予測における相対的だが完全な幾何学的構造を組み合わせたフレームワークである。 本研究では, 単眼深度推定(MDE)モデルを構築し, 深度推定の固有ノイズを改良する。 われわれのモデルは、7つの現実世界のデータセットにまたがる深度補完、超高解像度、インパインティングという、印象的なゼロショットの一般化を見せている。
  論文  参考訳（メタデータ） (2025-05-15T17:59:50Z)
• Depth Completion using Plane-Residual Representation [84.63079529738924]
  深度情報を最も近い深度平面ラベル$p$と残値$r$で解釈する新しい方法を紹介し,これをPlane-Residual (PR)表現と呼ぶ。 PR表現で深度情報を解釈し,それに対応する深度補完網を用いて,高速な計算により深度補完性能を向上させることができた。
  論文  参考訳（メタデータ） (2021-04-15T10:17:53Z)
• CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
  本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。 我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。 本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-12-18T09:42:54Z)
• Faster Depth-Adaptive Transformers [71.20237659479703]
  深さ適応型ニューラルネットワークは入力単語の硬さに応じて動的に深さを調整することができる。 従来の作業は一般的に、計算が各レイヤで続行するか停止するかを決定するために停止ユニットを構築する。 本稿では,停止ユニットを除去し,必要な深さを事前に推定し,より高速な深度適応モデルを生成する。
  論文  参考訳（メタデータ） (2020-04-27T15:08:10Z)
• Don't Forget The Past: Recurrent Depth Estimation from Monocular Video [92.84498980104424]
  私たちは3つの異なる種類の深さ推定を共通のフレームワークに組み込んだ。 提案手法は, 時系列の深度マップを生成する。 モノクロビデオにのみ適用したり、異なる種類のスパース深度パターンと組み合わせたりすることができる。
  論文  参考訳（メタデータ） (2020-01-08T16:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。