論文の概要: Planned Diffusion

• arxiv url: http://arxiv.org/abs/2510.18087v1
• Date: Mon, 20 Oct 2025 20:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.562055
• Title: Planned Diffusion
• Title（参考訳）: 計画拡散
• Authors: Daniel Israel, Tian Jin, Ellie Cheng, Guy Van den Broeck, Aditya Grover, Suvinay Subramanian, Michael Carbin,
• Abstract要約: 大きな言語モデル推論における中心的な課題は、生成速度と出力品質のトレードオフである。 両パラダイムの強みを組み合わせたハイブリッド手法である計画拡散を提案する。 まず、モデルが短い自己回帰計画を作成し、出力を小さく独立したスパンに分割する。
• 参考スコア（独自算出の注目度）: 57.74615417331808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in large language model inference is the trade-off between generation speed and output quality. Autoregressive models produce high-quality text but generate tokens sequentially. Diffusion models can generate tokens in parallel but often need many iterations to match the same quality. We propose planned diffusion, a hybrid method that combines the strengths of both paradigms. Planned diffusion works in two stages: first, the model creates a short autoregressive plan that breaks the output into smaller, independent spans. Second, the model generates these spans simultaneously using diffusion. This approach expands the speed-quality Pareto frontier and provides a practical path to faster, high-quality text generation. On AlpacaEval, a suite of 805 instruction-following prompts, planned diffusion achieves Pareto-optimal trade-off between quality and latency, achieving 1.27x to 1.81x speedup over autoregressive generation with only 0.87\% to 5.4\% drop in win rate, respectively. Our sensitivity analysis shows that the planning mechanism of planned diffusion is minimal and reliable, and simple runtime knobs exist to provide flexible control of the quality-latency trade-off.
• Abstract（参考訳）: 大きな言語モデル推論における中心的な課題は、生成速度と出力品質のトレードオフである。 自己回帰モデルは高品質なテキストを生成するが、順次トークンを生成する。 拡散モデルはトークンを並列に生成できるが、同じ品質に合わせるために多くのイテレーションが必要になることが多い。 両パラダイムの強みを組み合わせたハイブリッド手法である計画拡散を提案する。 まず、モデルが短い自己回帰計画を作成し、出力を小さく独立したスパンに分割する。 第2に、モデルが拡散を用いてこれらのスパンを同時に生成する。 このアプローチは、速度品質のParetoフロンティアを拡張し、高速で高品質なテキスト生成への実践的なパスを提供する。 805の命令追従プロンプトからなるAlpacaEvalでは、計画された拡散により、品質とレイテンシの間のパレート最適トレードオフが達成され、それぞれ0.87\%から5.4\%の利得で、自己回帰生成よりも1.27倍から1.81倍のスピードアップを達成した。 感度分析により,計画された拡散の計画機構は最小限かつ信頼性が高く,単純なランタイムノブは品質-遅延トレードオフの柔軟な制御を実現するために存在することが示された。

関連論文リスト

• Scaling Beyond Masked Diffusion Language Models [18.68471174706656]
  本稿では、一様状態と補間離散拡散法の最初のスケーリング法則について述べる。 単純なクロスエントロピーで学習すると,Masked拡散モデルによりFLOPs効率が約12%向上することを示す。
  論文  参考訳（メタデータ） (2026-02-16T18:54:47Z)
• Transition Matching Distillation for Fast Video Generation [63.1049790376783]
  本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。 TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。 TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-01-14T21:30:03Z)
• CHORDS: Diffusion Sampling Accelerator with Multi-core Hierarchical ODE Solvers [72.23291099555459]
  拡散に基づく生成モデルは、高忠実度画像やビデオの主要な生成元となっているが、計算コストのかかる推論手順によって制限されている。 本稿では,マルチコア並列処理による一般,トレーニング不要,モデルに依存しない高速化戦略について検討する。 ChoRDSは様々な大規模画像およびビデオ拡散モデルのサンプリングを著しく加速し、4コアで2.1倍のスピードアップを実現し、ベースラインで50%改善し、8コアで2.9倍のスピードアップを実現した。
  論文  参考訳（メタデータ） (2025-07-21T05:48:47Z)
• Hybrid Autoregressive-Diffusion Model for Real-Time Sign Language Production [0.0]
  我々は手話生成のための自己回帰モデルと拡散モデルを組み合わせたハイブリッドアプローチを開発する。 微粒な体の動きを捉えるため,異なる音節から細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 ポーズ生成過程を動的に導くために,共同レベルの信頼度スコアを利用する信頼度対応型因果注意機構を導入する。
  論文  参考訳（メタデータ） (2025-07-12T01:34:50Z)
• The Diffusion Duality [24.39272541108744]
  一様状態拡散過程は、基礎となるガウス拡散から自然に現れる。 カリキュラム学習で訓練されたモデルは、7つのベンチマークのうち3つでゼロショットパープレキシティで自己回帰モデルを上回る。 本稿では, 連続から離散的な状態への連続蒸留を適応させる離散一致蒸留について述べる。
  論文  参考訳（メタデータ） (2025-06-12T16:55:35Z)
• FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
  拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。 最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。 我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
  論文  参考訳（メタデータ） (2025-05-27T17:39:39Z)
• Generalized Interpolating Discrete Diffusion [65.74168524007484]
  仮面拡散はその単純さと有効性のために一般的な選択である。 ノイズ発生過程の設計において、より柔軟性の高い離散拡散(GIDD)を補間する新しいファミリを一般化する。 GIDDの柔軟性をエクスプロイトし、マスクと均一ノイズを組み合わせたハイブリッドアプローチを探索し、サンプル品質を向上する。
  論文  参考訳（メタデータ） (2025-03-06T14:30:55Z)
• Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
  拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。 近年,より高速な生成プロセスの自動探索技術が採用されている。 拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T06:28:05Z)
• One-step Diffusion with Distribution Matching Distillation [54.723565605974294]
  本稿では,拡散モデルを1ステップ画像生成器に変換する手法である分散マッチング蒸留(DMD)を紹介する。 約KLの発散を最小化することにより,拡散モデルと分布レベルで一致した一段階画像生成装置を強制する。 提案手法は,イメージネット64x64では2.62 FID,ゼロショットCOCO-30kでは11.49 FIDに到達した。
  論文  参考訳（メタデータ） (2023-11-30T18:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。