論文の概要: Denoising Surface: Modeling and Predicting Inference Cost for Diffusion LLM Serving
- arxiv url: http://arxiv.org/abs/2610.00499v1
- Date: Wed, 30 Sep 2026 18:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.681163
- Title: Denoising Surface: Modeling and Predicting Inference Cost for Diffusion LLM Serving
- Title（参考訳）: ディノイングサーフェス:拡散LDMサービングにおける推論コストのモデル化と予測
- Abstract要約: 本稿では,2次元ブロックステップ構造を確率曲面として保存し,不均一なステップ毎のコストを重み付けするDenoising Workload Surface (DWS)を提案する。
テクトリアルワールドのサービス実験では、DWSはスカラーベースの予測器よりもコスト予測誤差を最大2.50タイムで削減する。
- 参考スコア（独自算出の注目度）: 20.53225577282448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As diffusion large language models (dLLMs) become more capable, they are moving from research settings to real-world \textit{serving}, where request management (such as scheduling and resource allocation) relies on accurate estimation of per-request inference cost. However, common cost proxies fall short for dLLMs: output length ignores that one forward pass can unmask multiple tokens, and denoising-step count ignores the \textit{heterogeneous} per-step costs. We observe that the block-autoregressive generation mechanism induces a two-dimensional execution structure over output blocks and within-block denoising steps, whereas these proxies collapse it into a scalar, discarding information essential for characterizing the cost. Motivated by this insight, we propose the Denoising Workload Surface (DWS), which preserves this two-dimensional block-step structure as a probability surface to weight the heterogeneous per-step costs. We then design a coarse-to-fine training scheme that enables a lightweight prompt-only predictor to accurately predict the complex DWS. This predictor runs efficiently even on a single CPU core, avoiding GPU contention with the serving model. Since DWS decouples request-dependent execution behavior from deployment-specific cost factors, the predictor transfers across hardware configurations without retraining. In \textit{real-world} serving experiments, DWS reduces cost-prediction error by up to $2.50\times$ over scalar-based predictors, while the DWS-guided shortest-job-first scheduler reduces end-to-end latency by up to $1.92\times$ for online chatbots.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)の能力が向上するにつれて、要求管理(スケジューリングやリソース割り当てなど)が要求毎の推論コストの正確な見積に依存するように、研究環境から現実の \textit{serving} への移行が進んでいる。
しかし、一般的なコストプロキシは、dLLMでは不足している: 出力長は、1つのフォワードパスが複数のトークンをアンマスクできることを無視し、デノイングステップカウントはステップ毎のコストを無視する。
ブロック自己回帰生成機構は出力ブロック上の2次元実行構造とブロック内のデノナイジングステップを誘導するのに対し,これらのプロキシはスカラーに分解し,コストの特徴付けに不可欠な情報を捨てる。
この知見により, この2次元ブロックステップ構造を, 不均一なステップ毎のコストを重み付けする確率曲面として保存するDenoising Workload Surface (DWS)を提案する。
そこで我々は、軽量なプロンプトのみの予測器で複雑なDWSを正確に予測できる粗大なトレーニングスキームを設計する。
この予測器は単一のCPUコア上でも効率的に動作し、サービスモデルとのGPU競合を回避する。
DWSは、デプロイメント固有のコスト要因から要求に依存した実行動作を分離するため、予測器は再トレーニングせずにハードウェア構成間で転送される。
実世界のサービス実験では、DWSはコスト予測エラーをスカラーベースの予測器で最大2.50\times$に削減し、DWS誘導のショートジョブファーストスケジューラはエンドツーエンドのレイテンシを最大1.92\times$に削減する。
関連論文リスト
- CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing [90.63350360476294]
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
論文 参考訳（メタデータ） (2026-09-01T22:49:46Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳（メタデータ） (2026-04-13T03:19:36Z) - $ρ$-$\texttt{EOS}$: Training-free Bidirectional Variable-Length Control for Masked Diffusion LLMs [28.452292098891018]
我々はデノナイジングダイナミクスを研究し、その暗黙の密度(texttEOS$)が世代十分性の信頼できるシグナルとなることを発見した。
マスク付きdLLMの双方向可変長生成を可能にする,トレーニングフリーの単一ステージ戦略を提案する。
論文 参考訳（メタデータ） (2026-01-30T04:00:04Z) - Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference [29.81657023400426]
プルーニングやスキップといったトークン指向の手法は、推論レイテンシの低減を約束している。
本研究では,SPTS(Self-Predictive Token Skipping)を提案する。
論文 参考訳（メタデータ） (2026-01-19T15:34:29Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する
既存のオープンソースDLMは、高い推論遅延に悩まされている。
DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文 参考訳（メタデータ） (2025-09-28T18:10:10Z) - SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning [3.502168555273189]
SlimInferは、フォワードパス中にあまり重要でないプロンプトトークンを直接プルーニングすることで推論を加速することを目的としている。
SlimInferは最大$mathbf2.53times$ time-to-first-token(TTFT)スピードアップと$mathbf1.88times$ end-to-end latency reduction for LLaMA3.1-8B-Instructを実現する。
論文 参考訳（メタデータ） (2025-08-08T16:42:38Z) - Asynchronous Training Schemes in Distributed Learning with Time Delay [17.259708772713164]
分散ディープラーニングの文脈では、固定重みや勾配の問題によってアルゴリズムの性能が低下する可能性がある。
本稿では,静的な重みや勾配の問題に対処する別のアプローチを提案する。
また,PC-ASGDの実用版として,トレードオフパラメータの決定を支援する条件を適用して提案する。
論文 参考訳（メタデータ） (2022-08-28T07:14:59Z) - Semi-Supervised Temporal Action Detection with Proposal-Free Masking [134.26292288193298]
PropOsal-free Temporal mask (SPOT) に基づく新しい半教師付き時間行動検出モデルを提案する。
SPOTは最先端の代替品よりも優れている。
論文 参考訳（メタデータ） (2022-07-14T16:58:47Z) - Straggler-aware Distributed Learning: Communication Computation Latency
Trade-off [56.08535873173518]
ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。
既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。
このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
論文 参考訳（メタデータ） (2020-04-10T08:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。