論文の概要: Predict-then-Diffuse: Adaptive Response Length for Compute-Budgeted Inference in Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2605.04215v2
• Date: Thu, 14 May 2026 12:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-16 03:05:58.781382
• Title: Predict-then-Diffuse: Adaptive Response Length for Compute-Budgeted Inference in Diffusion LLMs
• Title（参考訳）: 予測誤差:拡散LDMにおける計算予算推論のための適応応答長
• Authors: Michael Rottoli, Subhankar Roy, Stefano Paraboschi,
• Abstract要約: 拡散に基づく大規模言語モデル(D-LLM)は、生成AIにおける有望なフロンティアである。 提案するPredict-then-Diffuseは,入力クエリ毎の計算予算推論を可能にするモデルに依存しないフレームワークである。 そこで,Predict-then-DiffuseはデフォルトのD-LLM推論機構と比較して計算コスト(FLOP)を大幅に削減することを示した。
• 参考スコア（独自算出の注目度）: 7.630708097054872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based Large Language Models (D-LLMs) represent a promising frontier in generative AI, offering fully parallel token generation that can lead to significant throughput advantages and superior GPU utilization over the traditional autoregressive paradigm. However, this parallelism is constrained by the requirement of a fixed-size response length prior to generation. This architectural limitation imposes a severe trade-off: oversized response length results in computational waste on semantically meaningless padding tokens, while undersized response length causes output truncation requiring costly re-computations that introduce unpredictable latency spikes. To tackle this issue, we propose Predict-then-Diffuse, a simple and model-agnostic framework that enables compute-budgeted inference per input query by first estimating the response length and then using it to run inference with D-LLM. At its core lies an Adaptive Response Length Predictor (AdaRLP), which estimates the optimal response length given an input query. As a measure against under-estimating the response length and re-running inference with a higher value, we introduce a data-driven safety mechanism based on a small increase of the predicted length. As a whole, our framework avoids wasting computation on padding tokens, at the same time preserving output quality. Experimental validation on multiple datasets demonstrates that Predict-then-Diffuse significantly reduces computational costs (FLOP) compared to the default D-LLM inference mechanism, while being robust to skewed data distributions.
• Abstract（参考訳）: 拡散ベースの大規模言語モデル(D-LLM)は、ジェネレーティブAIにおける有望なフロンティアであり、完全な並列トークン生成を提供することで、従来の自己回帰パラダイムよりも優れたスループットとGPU利用を実現する。 しかし、この並列性は、生成前の固定サイズ応答長の要求によって制約される。 過大な応答長は意味論的に無意味なパディングトークンに計算の無駄をもたらすのに対して、低大な応答長は予測不可能な遅延スパイクをもたらすコストのかかる再計算を必要とする出力停止を引き起こす。 この問題に対処するために、まず応答長を推定し、D-LLMで推論を実行することで、入力クエリ毎の計算予算推論を可能にする、シンプルでモデルに依存しないフレームワークであるPredict-then-Diffuseを提案する。 その中核には適応応答長予測器(AdaRLP)があり、入力クエリが与えられた最適応答長を推定する。 応答長を過小評価し,より高い値で再実行する手法として,予測長の小さな増加に基づくデータ駆動型安全機構を導入する。 全体として、当社のフレームワークは、パディングトークンの無駄な計算を回避し、同時に出力品質を保存する。 複数のデータセットに対する実験的検証により、Predict-then-Diffuseは、スキューデータ分布に対して堅牢でありながら、デフォルトのD-LLM推論機構と比較して計算コスト(FLOP)を著しく削減することが示された。

関連論文リスト

• Predicting LLM Output Length via Entropy-Guided Representations [13.351384070796747]
  本稿では,本モデルの内部隠蔽状態を有効長予測のために再利用する軽量フレームワークを提案する。 1) オンザフライアクティベーションとトークンエントロピーを用いて高精度な静的予測を行うEGTP (Entropy-Guided Token Pooling) である。
  論文  参考訳（メタデータ） (2026-02-12T10:49:04Z)
• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Do Stop Me Now: Detecting Boilerplate Responses with a Single Iteration [0.0]
  大規模言語モデル(LLM)は、しばしばボイラープレート応答を生成する重要な計算資源を消費する。 本稿では,単一生成段階の後に応答を検出するための簡易かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2025-10-26T13:43:56Z)
• Adaptively Robust LLM Inference Optimization under Prediction Uncertainty [9.541681114575812]
  本稿では,Large Language Model (LLM) 推論スケジューリングを最適化し,全遅延を最小化する問題について検討する。 LLM推論の鍵となる課題は、実行時の長さが分かる一方で、メモリ使用量や処理時間に重大な影響を及ぼす出力長が不明であることである。 本稿では,各要求に対して間隔分類(min-max range)を提供すると仮定して,機械学習を利用して出力長を予測するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-20T08:55:26Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。