論文の概要: Accelerated Diffusion Models via Speculative Sampling
- arxiv url: http://arxiv.org/abs/2501.05370v1
- Date: Thu, 09 Jan 2025 16:50:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 14:00:31.527393
- Title: Accelerated Diffusion Models via Speculative Sampling
- Title（参考訳）: 投機サンプリングによる加速拡散モデル
- Authors: Valentin De Bortoli, Alexandre Galashov, Arthur Gretton, Arnaud Doucet,
- Abstract要約: 投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。
我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
- 参考スコア（独自算出の注目度）: 89.43940130493233
- License:
- Abstract: Speculative sampling is a popular technique for accelerating inference in Large Language Models by generating candidate tokens using a fast draft model and accepting or rejecting them based on the target model's distribution. While speculative sampling was previously limited to discrete sequences, we extend it to diffusion models, which generate samples via continuous, vector-valued Markov chains. In this context, the target model is a high-quality but computationally expensive diffusion model. We propose various drafting strategies, including a simple and effective approach that does not require training a draft model and is applicable out of the box to any diffusion model. Our experiments demonstrate significant generation speedup on various diffusion models, halving the number of function evaluations, while generating exact samples from the target model.
- Abstract（参考訳）: 投機的サンプリングは、高速なドラフトモデルを用いて候補トークンを生成し、ターゲットモデルの分布に基づいてそれらを受け入れたり拒否したりすることで、大規模言語モデルの推論を加速させる一般的な手法である。
投機的サンプリングは、以前は離散配列に限られていたが、拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
この文脈では、ターゲットモデルは高品質だが計算的に高価な拡散モデルである。
本稿では,ドラフトモデルのトレーニングを必要とせず,任意の拡散モデルに適用可能な,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
実験では, 種々の拡散モデルにおいて, 対象モデルから正確なサンプルを生成しながら, 関数評価数を半減させ, 生成速度を著しく向上させることを示した。
関連論文リスト
- Generative Modeling with Bayesian Sample Inference [50.07758840675341]
我々はガウス的後代推論の単純な作用から新しい生成モデルを導出する。
生成したサンプルを未知変数として推論することで、ベイズ確率の言語でサンプリングプロセスを定式化する。
我々のモデルは、未知のサンプルを広い初期信念から絞り込むために、一連の予測と後続の更新ステップを使用する。
論文 参考訳（メタデータ） (2025-02-11T14:27:10Z) - Generative Modeling with Diffusion [0.0]
新しいサンプルを生成する方法として拡散モデルを導入する。
ノーミングとデノゲーションのプロセスを定義し、拡散モデルを用いてトレーニングと生成を行うアルゴリズムを導入します。
論文 参考訳（メタデータ） (2024-12-14T20:04:46Z) - Random Walks with Tweedie: A Unified Framework for Diffusion Models [11.161487364062667]
本稿では,拡散サンプリングをランダムウォークのシーケンスとして解釈し,生成拡散モデルアルゴリズムを設計するための簡単なテンプレートを提案する。
いくつかの既存の拡散モデルがこのテンプレート内の特定の選択に対応することを示し、他のより単純なアルゴリズム的選択が効果的な拡散モデルをもたらすことを示す。
論文 参考訳（メタデータ） (2024-11-27T19:13:20Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。
本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
論文 参考訳（メタデータ） (2024-06-23T20:34:18Z) - Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
離散非マルコフ拡散モデル(DNDM)を提案する。
これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。
有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
論文 参考訳（メタデータ） (2023-12-14T18:14:11Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳（メタデータ） (2023-01-19T09:48:07Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。