論文の概要: Planned Diffusion

• arxiv url: http://arxiv.org/abs/2510.18087v1
• Date: Mon, 20 Oct 2025 20:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.562055
• Title: Planned Diffusion
• Title（参考訳）: 計画拡散
• Authors: Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin,
• Abstract要約: 大きな言語モデル推論における中心的な課題は、生成速度と出力品質のトレードオフである。 両パラダイムの強みを組み合わせたハイブリッド手法である計画拡散を提案する。 まず、モデルが短い自己回帰計画を作成し、出力を小さく独立したスパンに分割する。
• 参考スコア（独自算出の注目度）: 57.74615417331808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in large language model inference is the trade-off between generation speed and output quality. Autoregressive models produce high-quality text but generate tokens sequentially. Diffusion models can generate tokens in parallel but often need many iterations to match the same quality. We propose planned diffusion, a hybrid method that combines the strengths of both paradigms. Planned diffusion works in two stages: first, the model creates a short autoregressive plan that breaks the output into smaller, independent spans. Second, the model generates these spans simultaneously using diffusion. This approach expands the speed-quality Pareto frontier and provides a practical path to faster, high-quality text generation. On AlpacaEval, a suite of 805 instruction-following prompts, planned diffusion achieves Pareto-optimal trade-off between quality and latency, achieving 1.27x to 1.81x speedup over autoregressive generation with only 0.87\% to 5.4\% drop in win rate, respectively. Our sensitivity analysis shows that the planning mechanism of planned diffusion is minimal and reliable, and simple runtime knobs exist to provide flexible control of the quality-latency trade-off.
• Abstract（参考訳）: 大きな言語モデル推論における中心的な課題は、生成速度と出力品質のトレードオフである。 自己回帰モデルは高品質なテキストを生成するが、順次トークンを生成する。 拡散モデルはトークンを並列に生成できるが、同じ品質に合わせるために多くのイテレーションが必要になることが多い。 両パラダイムの強みを組み合わせたハイブリッド手法である計画拡散を提案する。 まず、モデルが短い自己回帰計画を作成し、出力を小さく独立したスパンに分割する。 第2に、モデルが拡散を用いてこれらのスパンを同時に生成する。 このアプローチは、速度品質のParetoフロンティアを拡張し、高速で高品質なテキスト生成への実践的なパスを提供する。 805の命令追従プロンプトからなるAlpacaEvalでは、計画された拡散により、品質とレイテンシの間のパレート最適トレードオフが達成され、それぞれ0.87\%から5.4\%の利得で、自己回帰生成よりも1.27倍から1.81倍のスピードアップを達成した。 感度分析により,計画された拡散の計画機構は最小限かつ信頼性が高く,単純なランタイムノブは品質-遅延トレードオフの柔軟な制御を実現するために存在することが示された。

関連論文リスト

• CHORDS: Diffusion Sampling Accelerator with Multi-core Hierarchical ODE Solvers [72.23291099555459]
  拡散に基づく生成モデルは、高忠実度画像やビデオの主要な生成元となっているが、計算コストのかかる推論手順によって制限されている。 本稿では,マルチコア並列処理による一般,トレーニング不要,モデルに依存しない高速化戦略について検討する。 ChoRDSは様々な大規模画像およびビデオ拡散モデルのサンプリングを著しく加速し、4コアで2.1倍のスピードアップを実現し、ベースラインで50%改善し、8コアで2.9倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2025-07-21T05:48:47Z)
• Hybrid Autoregressive-Diffusion Model for Real-Time Sign Language Production [0.0]
  我々は手話生成のための自己回帰モデルと拡散モデルを組み合わせたハイブリッドアプローチを開発する。 微粒な体の動きを捉えるため,異なる音節から細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 ポーズ生成過程を動的に導くために,共同レベルの信頼度スコアを利用する信頼度対応型因果注意機構を導入する。
  論文  参考訳（メタデータ） (2025-07-12T01:34:50Z)
• The Diffusion Duality [24.39272541108744]
  一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。 カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。 本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
  論文  参考訳（メタデータ） (2025-06-12T16:55:35Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。