論文の概要: Designing Scheduling for Diffusion Models via Spectral Analysis

• arxiv url: http://arxiv.org/abs/2502.00180v1
• Date: Fri, 31 Jan 2025 21:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:14.662449
• Title: Designing Scheduling for Diffusion Models via Spectral Analysis
• Title（参考訳）: スペクトル解析による拡散モデルのスケジューリング設計
• Authors: Roi Benita, Michael Elad, Joseph Keshet,
• Abstract要約: 拡散モデル(DM)は、複雑なデータ分散をモデル化するための強力なツールとして登場した。 我々は、DMの推論プロセスの新たな解析を行い、包括的周波数応答の観点を導入する。 提案手法は,ノイズスケジュールの最適化にどのように活用できるかを実証する。
• 参考スコア（独自算出の注目度）: 23.105365495914644
• License:
• Abstract: Diffusion models (DMs) have emerged as powerful tools for modeling complex data distributions and generating realistic new samples. Over the years, advanced architectures and sampling methods have been developed to make these models practically usable. However, certain synthesis process decisions still rely on heuristics without a solid theoretical foundation. In our work, we offer a novel analysis of the DM's inference process, introducing a comprehensive frequency response perspective. Specifically, by relying on Gaussianity and shift-invariance assumptions, we present the inference process as a closed-form spectral transfer function, capturing how the generated signal evolves in response to the initial noise. We demonstrate how the proposed analysis can be leveraged for optimizing the noise schedule, ensuring the best alignment with the original dataset's characteristics. Our results lead to scheduling curves that are dependent on the frequency content of the data, offering a theoretical justification for some of the heuristics taken by practitioners.
• Abstract（参考訳）: 拡散モデル(DM)は、複雑なデータ分散をモデル化し、現実的な新しいサンプルを生成する強力なツールとして登場した。 長年にわたり、これらのモデルを実用的なものにするために、高度なアーキテクチャとサンプリング手法が開発されてきた。 しかしながら、特定の合成過程の決定は、確かな理論的基礎を持たないヒューリスティックに依存している。 本研究では,DMの推論プロセスの新たな解析を行い,周波数応答の包括的視点を導入する。 具体的には、ガウス性やシフト不変性の仮定を頼りに、推定過程を閉形式スペクトル伝達関数として提示し、生成した信号が初期雑音に応答してどのように進化するかをキャプチャする。 提案手法を用いて、ノイズスケジュールを最適化し、元のデータセットの特徴と最適な整合性を確保する。 この結果から,データの周波数内容に依存したスケジューリング曲線が導かれ,実践者によるヒューリスティクスの理論的正当性が得られる。

関連論文リスト

• Unified Convergence Analysis for Score-Based Diffusion Models with Deterministic Samplers [49.1574468325115]
  決定論的サンプリングのための統合収束分析フレームワークを提案する。 我々のフレームワークは$tilde O(d2/epsilon)$の反復複雑性を実現する。 また,Denoising Implicit Diffusion Models (DDIM) タイプのサンプルについて詳細な分析を行った。
  論文  参考訳（メタデータ） (2024-10-18T07:37:36Z)
• Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
  本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。 拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。 Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-06-23T14:24:14Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Robust Estimation of Causal Heteroscedastic Noise Models [7.568978862189266]
  学生の$t$-distributionは、より小さなサンプルサイズと極端な値で、全体の分布形態を著しく変えることなく、サンプル変数をサンプリングすることの堅牢さで知られている。 我々の経験的評価は、我々の推定器はより堅牢で、合成ベンチマークと実ベンチマークの総合的な性能が向上していることを示している。
  論文  参考訳（メタデータ） (2023-12-15T02:26:35Z)
• Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task [20.749514363389878]
  合成環境における条件拡散モデルにおける合成一般化について検討する。 サンプルを生成する能力が出現する順番は、基礎となるデータ生成プロセスの構造によって制御される。 本研究は、データ中心の観点から、生成モデルにおける能力と構成性を理解するための基礎を築いた。
  論文  参考訳（メタデータ） (2023-10-13T18:00:59Z)
• U-Turn Diffusion [0.4527270266697462]
  我々は,GTサンプル情報をスコア関数(SF)にエンコードする方法に注目した。 本稿では,事前学習した拡散モデルの拡張であるU-Turn拡散を提案する。 ImageNetデータセットのクラス条件SFの実験では、臨界記憶時間$T_mが明らかにされている。
  論文  参考訳（メタデータ） (2023-08-14T19:21:28Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。