論文の概要: Accelerating Diffusion-based Combinatorial Optimization Solvers by
Progressive Distillation
- arxiv url: http://arxiv.org/abs/2308.06644v1
- Date: Sat, 12 Aug 2023 21:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 16:14:26.894253
- Title: Accelerating Diffusion-based Combinatorial Optimization Solvers by
Progressive Distillation
- Title(参考訳): プログレッシブ蒸留による拡散型組合せ最適化解法
- Authors: Junwei Huang, Zhiqing Sun, Yiming Yang
- Abstract要約: 本稿では, 脱臭過程において少ないステップで推算を高速化するために, プログレッシブ蒸留法を提案する。
実験結果から, 徐々に蒸留したモデルでは0.019%の性能低下を伴わず, 16倍の速度で推算できることがわかった。
- 参考スコア(独自算出の注目度): 43.60874566377421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Graph-based diffusion models have shown promising results in terms of
generating high-quality solutions to NP-complete (NPC) combinatorial
optimization (CO) problems. However, those models are often inefficient in
inference, due to the iterative evaluation nature of the denoising diffusion
process. This paper proposes to use progressive distillation to speed up the
inference by taking fewer steps (e.g., forecasting two steps ahead within a
single step) during the denoising process. Our experimental results show that
the progressively distilled model can perform inference 16 times faster with
only 0.019% degradation in performance on the TSP-50 dataset.
- Abstract(参考訳): グラフベースの拡散モデルは、NP完全(NPC)組合せ最適化(CO)問題に対する高品質な解を生成するという点で有望な結果を示している。
しかし,これらのモデルはしばしば,拡散過程の反復的な評価特性のため,推論において非効率であることが多い。
本稿では, 脱離過程において, プログレッシブ蒸留を用いてより少ないステップ(例えば, 1 ステップ以内の2 ステップの予測)で推算を高速化することを提案する。
実験の結果, TSP-50データセットの性能は0.019%しか低下せず, 段階的に蒸留したモデルでは16倍高速に推算できることがわかった。
関連論文リスト
- Distilling Diffusion Models into Conditional GANs [90.76040478677609]
複雑な多段階拡散モデルを1段階条件付きGAN学生モデルに蒸留する。
E-LatentLPIPSは,拡散モデルの潜在空間で直接動作する知覚的損失である。
我々は, 最先端の1ステップ拡散蒸留モデルよりも優れた1ステップ発生器を実証した。
論文 参考訳(メタデータ) (2024-05-09T17:59:40Z) - Bespoke Non-Stationary Solvers for Fast Sampling of Diffusion and Flow
Models [37.87360302300045]
Bespoke Non-Stationary (BNS) は拡散流モデルの試料効率を改善するための蒸留法である。
モデル蒸留と比較して、BNSソルバは小さなパラメータ空間、高速な最適化、サンプルの多様性の維持の恩恵を受ける。
我々は, 条件付き画像生成, テキスト・ツー・イメージ生成, テキスト・ツー・オーディオ生成のためのBNSソルバを用いて実験を行い, 試料近似(PSNR)を大幅に改善した。
論文 参考訳(メタデータ) (2024-03-02T22:27:44Z) - SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
拡散モデルに基づく超解像(SR)法は有望な結果を示す。
しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。
本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-23T16:21:29Z) - Towards More Accurate Diffusion Model Acceleration with A Timestep
Aligner [84.97253871387028]
数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。
最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。
実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
論文 参考訳(メタデータ) (2023-10-14T02:19:07Z) - Single and Few-step Diffusion for Generative Speech Enhancement [18.487296462927034]
拡散モデルは音声強調において有望な結果を示した。
本稿では,2段階の学習手法を用いて,これらの制約に対処する。
提案手法は定常的な性能を保ち,従って拡散ベースラインよりも大きく向上することを示す。
論文 参考訳(メタデータ) (2023-09-18T11:30:58Z) - Parallel Sampling of Diffusion Models [76.3124029406809]
拡散モデルは強力な生成モデルであるが、サンプリングが遅い。
そこで本研究では,複数のステップを並列にdenoisingすることで,事前学習した拡散モデルのサンプリングを高速化するParaDiGMSを提案する。
論文 参考訳(メタデータ) (2023-05-25T17:59:42Z) - PTQD: Accurate Post-Training Quantization for Diffusion Models [22.567863065523902]
拡散モデルの学習後の量子化は、モデルのサイズを著しく減らし、再学習することなくサンプリングプロセスを加速することができる。
既存のPTQ法を直接低ビット拡散モデルに適用することは、生成されたサンプルの品質を著しく損なう可能性がある。
本稿では,量子化復調過程における量子化雑音と拡散摂動雑音の統一的な定式化を提案する。
論文 参考訳(メタデータ) (2023-05-18T02:28:42Z) - Diffusion Models for Graphs Benefit From Discrete State Spaces [24.55713575441925]
前方マルコフ過程に離散ノイズを用いることを提案する。
従来の手法と比較して, 離散的なノイズ発生過程を用いることで, 高品質なサンプルが生成されることがわかった。
復調工程の数は1000段から32段に減らされ、サンプリング手順が30倍速くなった。
論文 参考訳(メタデータ) (2022-10-04T12:20:21Z) - Denoising Diffusion Implicit Models [117.03720513930335]
DDPMと同様の訓練手順を施した反復的暗黙的確率モデルに対して,拡散暗黙モデル(DDIM)を提案する。
DDIMsは、DDPMsと比較して、壁面時間で10倍から50倍高速な高品質のサンプルを作成できる。
論文 参考訳(メタデータ) (2020-10-06T06:15:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。