Fugu-MT 論文翻訳(概要): Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching

論文の概要: Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching

arxiv url: http://arxiv.org/abs/2608.09444v1
Date: Mon, 10 Aug 2026 11:20:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:37.217647
Title: Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching
Title（参考訳）: 連続深さバッチによるループ言語モデルの深さ適応推論
Abstract要約: ループ言語モデル(LM)の主な約束は、深さ適応型計算である。個別のループキューの粒度でスケジュールする連続深さ(CDB)を導入する。 Ouro 1.4B と Huginn 3.5B では、CDB は理論上の最大速度の 99% を達成できる。
参考スコア（独自算出の注目度）: 33.509836193149795
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A main promise of looped language models (LMs) is depth-adaptive inference. By iterating a block of shared layers a variable number of times, the model can use less compute for "easy" tokens and more for "hard" ones. However, this adaptivity breaks standard batching: tokens in the same batch now require a different number of loops, so there is no unified forward pass, making efficient inference difficult. Standard inference frameworks like vLLM schedule on the token level and cannot handle this because tokens need to be removed from the batch within the forward pass. Loop-level scheduling has been proposed as a solution, but never implemented end to end. The key challenge is that looped architectures also contain non-looped boundary stages (e.g., token embedding and LM head) that must be scheduled at different frequencies than the loop. We introduce continuous depth batching (CDB), which schedules at the granularity of individual loop iterations. CDB handles boundary stages and loop steps in separate priority queues, makes exit decisions one step ahead, and overlaps all scheduling work with GPU computation. On Ouro 1.4B and Huginn 3.5B, CDB can realize up to $99\%$ of the theoretical maximum speed-up from adaptive-depth, translating to $1.5$-$1.9\times$ higher offline throughput and $45$-$90\%$ lower normalized latency under dynamic serving load.
Abstract（参考訳）: ループ言語モデル(LM)の主な約束は、深さ適応推論である。共有レイヤのブロックを変数の回数で繰り返しることで、"easy"トークンの計算量が少なくなり、"hard"トークンの処理量も少なくなります。しかし、この適応性は標準的なバッチ処理を破る: 同じバッチ内のトークンは異なる数のループを必要とするため、統一されたフォワードパスがないため、効率的な推論が困難になる。 vLLMのような標準的な推論フレームワークはトークンレベルでスケジュールされているため、前方パス内のバッチからトークンを削除する必要があるため、これを処理できない。ループレベルのスケジューリングはソリューションとして提案されているが、エンドツーエンドで実装されることはなかった。重要な課題は、ループアーキテクチャには、ループとは異なる周波数でスケジュールする必要がある非ループ境界ステージ(例えば、トークン埋め込みとLMヘッド)も含まれていることである。個別のループ反復の粒度をスケジュールする連続深度バッチ(CDB)を導入します。 CDBは、別々の優先度キューで境界ステージとループステップを処理し、エグジット決定を一歩前進させ、すべてのスケジューリング処理をGPU計算で重複させる。 Ouro 1.4B と Huginn 3.5B では、CDB は適応深度から理論上の最大速度アップの最大$99\% を実現し、1.5$-$1.9\times$高オフラインスループットと45$-$90\% の低正規化レイテンシを動的サービス負荷の下で変換できる。

関連論文リスト

ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding [60.34475274870224]
ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
論文参考訳（メタデータ） (2026-09-15T14:21:33Z)
HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文参考訳（メタデータ） (2026-09-01T18:02:02Z)
Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文参考訳（メタデータ） (2026-08-12T07:32:29Z)
LoopMTP: A looped transformer guided by latent multi-token prediction [2.2694459418593698]
MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。 textscLoopMTPは、非ループベースラインよりも平均精度を最大8.1%向上させる。
論文参考訳（メタデータ） (2026-08-04T13:13:09Z)
FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。 2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。 LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
論文参考訳（メタデータ） (2026-07-20T08:05:03Z)
Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文参考訳（メタデータ） (2026-07-08T05:48:57Z)
Speculative Pipeline Decoding: Higher-Accruacy and Zero-Bubble Speculation via Pipeline Parallelism [18.740761250499848]
投機的パイプラインデコーディング(SPD)はパイプライン並列性の本当の可能性を解き放つ画期的なフレームワークである。実験の結果,SPDは主流のベースラインに比べて理論的なスピードアップがかなり高いことがわかった。
論文参考訳（メタデータ） (2026-05-29T05:17:03Z)
PSD: Pushing the Pareto Frontier of Diffusion LLMs via Parallel Speculative Decoding [32.667256256847246]
拡散大言語モデル (dLLMs) は、マスク付きトークンシーケンスを反復的に記述することでテキストを生成する。両軸に沿って推論を共同で改善するトレーニングフリーフレームワークであるParallel Speculative Decoding (PSD)を提案する。
論文参考訳（メタデータ） (2026-05-15T04:43:02Z)
Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文参考訳（メタデータ） (2025-10-13T21:07:05Z)
dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文参考訳（メタデータ） (2025-09-30T16:32:52Z)
Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2025-04-07T18:30:18Z)
Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。 7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
論文参考訳（メタデータ） (2025-03-11T15:15:54Z)
SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference [17.947904697850433]
バッチ推論とKeyValueキャッシュのためのトークンレベルの早期終了メソッドであるSkipDecodeを提案する。これは、各シーケンス位置のバッチ内の各トークンに対して特異レベル出口を設定することで、以前の制約を克服する。また、イグジットポイントの単調な減少を保証するため、前のトークンに対してKVキャッシュを再コンパイルする必要がなくなる。
論文参考訳（メタデータ） (2023-07-05T19:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。