論文の概要: Diffusion Sampling Correction via Approximately 10 Parameters
- arxiv url: http://arxiv.org/abs/2411.06503v3
- Date: Thu, 29 May 2025 15:26:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 15:42:32.705362
- Title: Diffusion Sampling Correction via Approximately 10 Parameters
- Title（参考訳）: 約10パラメータによる拡散サンプリング補正
- Authors: Guangyi Wang, Wei Peng, Lijiang Li, Wenyu Chen, Yuren Cai, Songzhi Su,
- Abstract要約: 拡散確率モデル(DPM)のためのPCAベースの適応探索(PAS)を提案する。
我々は,高次元サンプリング空間にまたがるいくつかの基底ベクトルを得るためにPCAを使用し,一組の座標を学習してサンプリング方向を補正する。
次に、サンプリング効率をさらに高め、格納されたパラメータの数を約10に削減する適応探索戦略を設計する。
- 参考スコア（独自算出の注目度）: 8.577537076809316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While powerful for generation, Diffusion Probabilistic Models (DPMs) face slow sampling challenges, for which various distillation-based methods have been proposed. However, they typically require significant additional training costs and model parameter storage, limiting their practicality. In this work, we propose PCA-based Adaptive Search (PAS), which optimizes existing solvers for DPMs with minimal additional costs. Specifically, we first employ PCA to obtain a few basis vectors to span the high-dimensional sampling space, which enables us to learn just a set of coordinates to correct the sampling direction; furthermore, based on the observation that the cumulative truncation error exhibits an ``S"-shape, we design an adaptive search strategy that further enhances the sampling efficiency and reduces the number of stored parameters to approximately 10. Extensive experiments demonstrate that PAS can significantly enhance existing fast solvers in a plug-and-play manner with negligible costs. E.g., on CIFAR10, PAS optimizes DDIM's FID from 15.69 to 4.37 (NFE=10) using only 12 parameters and sub-minute training on a single A100 GPU. Code is available at https://github.com/onefly123/PAS.
- Abstract（参考訳）: 生成には強力だが, 拡散確率モデル (DPM) は, 様々な蒸留法が提案されている, サンプリングの遅い課題に直面している。
しかし、それらは通常、かなりの追加のトレーニングコストとモデルパラメータストレージを必要とし、実用性を制限する。
本研究では,PCAをベースとした適応探索(PAS)を提案する。
具体的には、まず、高次元サンプリング空間にまたがるいくつかの基底ベクトルを得るためにPCAを用いて、一組の座標を学習してサンプリング方向を補正し、さらに累積トランケーション誤差が ``S"-形状を示すという観察に基づいて、サンプリング効率をさらに高め、格納されたパラメータの数を約10に削減する適応探索戦略を設計する。
大規模な実験により、PASはプラグ・アンド・プレイ方式で既存の高速解法を無視できるコストで大幅に向上できることが示された。
例えば CIFAR10 では、PAS は DDIM の FID を 15.69 から 4.37 (NFE=10) まで最適化する。
コードはhttps://github.com/onefly123/PASで入手できる。
関連論文リスト
- ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。
最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。
我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文 参考訳（メタデータ） (2024-09-05T17:59:46Z) - Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。
提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文 参考訳（メタデータ） (2024-05-09T01:40:38Z) - Accelerating Diffusion Sampling with Optimized Time Steps [69.21208434350567]
拡散確率モデル(DPM)は高分解能画像合成において顕著な性能を示した。
彼らのサンプリング効率は、通常多くのサンプリングステップのため、依然として望まれている。
DPM用高次数値ODEソルバの最近の進歩により、サンプリングステップがはるかに少ない高品質な画像の生成が可能になった。
論文 参考訳（メタデータ） (2024-02-27T10:13:30Z) - DPM-Solver-v3: Improved Diffusion ODE Solver with Empirical Model
Statistics [23.030972042695275]
拡散モデル(DPM)は、非効率サンプリングに悩まされながら、高忠実度画像生成に優れた性能を示した。
最近の研究は、DPMの特定のODE形式を利用する高速ODEソルバを提案することでサンプリング手順を加速している。
本稿では,1次離散化誤差を最小限に抑えるため,サンプリング中の最適パラメータ化に向けた新しい定式化を提案する。
論文 参考訳（メタデータ） (2023-10-20T04:23:12Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳（メタデータ） (2023-05-26T08:44:42Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z) - Preconditioned Score-based Generative Models [49.88840603798831]
直感的な加速度法はサンプリングの繰り返しを減らし、しかしながら重大な性能劣化を引き起こす。
本稿では,行列プレコンディショニングを利用したモデル非依存型bfem事前条件拡散サンプリング(PDS)手法を提案する。
PDSは、バニラSGMのサンプリングプロセスを限界余剰計算コストで変更し、モデルの再訓練を行わない。
論文 参考訳（メタデータ） (2023-02-13T16:30:53Z) - UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of
Diffusion Models [92.43617471204963]
拡散確率モデル(DPM)は高分解能画像合成において非常に有望な能力を示した。
我々は既存のDPMサンプリング器の後に適用可能な統一補正器(UniC)を開発し、精度を向上する。
そこで我々は,DPMの高速サンプリングのためのUniPCと呼ばれる統合予測器・相関器フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-09T18:59:48Z) - Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。
我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。
具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
論文 参考訳（メタデータ） (2022-12-05T20:35:36Z) - Learning to Efficiently Sample from Diffusion Probabilistic Models [49.58748345998702]
Denoising Diffusion Probabilistic Models (DDPM) は、様々な領域にわたる高忠実度サンプルと競合する対数類似度が得られる。
我々は,事前学習したDDPMに対して最適な離散時間スケジュールを求める,正確な動的プログラミングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-07T17:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。