論文の概要: Diffusion models under low-noise regime

• arxiv url: http://arxiv.org/abs/2506.07841v1
• Date: Mon, 09 Jun 2025 15:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.011793
• Title: Diffusion models under low-noise regime
• Title（参考訳）: 低雑音下における拡散モデル
• Authors: Elizabeth Pavlova, Xue-Xin Wei,
• Abstract要約: 拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
• 参考スコア（独自算出の注目度）: 3.729242965449096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on diffusion models proposed that they operate in two regimes: memorization, in which models reproduce their training data, and generalization, in which they generate novel samples. While this has been tested in high-noise settings, the behavior of diffusion models as effective denoisers when the corruption level is small remains unclear. To address this gap, we systematically investigated the behavior of diffusion models under low-noise diffusion dynamics, with implications for model robustness and interpretability. Using (i) CelebA subsets of varying sample sizes and (ii) analytic Gaussian mixture benchmarks, we reveal that models trained on disjoint data diverge near the data manifold even when their high-noise outputs converge. We quantify how training set size, data geometry, and model objective choice shape denoising trajectories and affect score accuracy, providing insights into how these models actually learn representations of data distributions. This work starts to address gaps in our understanding of generative model reliability in practical applications where small perturbations are common.
• Abstract（参考訳）: 拡散モデルに関する最近の研究は、記憶化(モデルがトレーニングデータを再現する)と一般化(モデルが新しいサンプルを生成する)という2つの体制で機能することを提案した。 これは高ノイズ環境ではテストされているが, 汚損レベルが小さい場合の拡散モデルの挙動は不明瞭である。 このギャップに対処するため,低雑音拡散力学下での拡散モデルの挙動を系統的に検討し,モデルの堅牢性と解釈可能性に寄与した。 利用 i) CelebAサブセット (II)解析的ガウス混合ベンチマークでは,高雑音出力が収束しても,解離したデータに基づいて訓練されたモデルがデータ多様体近傍に分散することを明らかにする。 トレーニングセットのサイズ、データ幾何学、およびモデル客観選択形状が軌道を識別し、スコアの精度にどのように影響するかを定量化し、これらのモデルが実際にデータ分布の表現を学習するかを洞察する。 この研究は、小さな摂動が一般的である実用的な応用において、生成モデルの信頼性に対する理解のギャップに対処し始める。

関連論文リスト

• Critical Iterative Denoising: A Discrete Generative Model Applied to Graphs [52.50288418639075]
  本稿では, 個別拡散を単純化し, 時間とともに条件付き独立性を仮定することで問題を回避できる, イテレーティブ・デノナイジング(Iterative Denoising)という新しい枠組みを提案する。 実験により,提案手法はグラフ生成タスクにおいて既存の離散拡散ベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-03-27T15:08:58Z)
• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• The Emergence of Reproducibility and Generalizability in Diffusion Models [10.188731323681575]
  同じスタートノイズ入力と決定論的サンプリングが与えられた場合、異なる拡散モデルはしばしば驚くほど類似した出力が得られる。 拡散モデルはトレーニングデータサイズの影響を受けやすい分布を学習していることを示す。 この価値ある性質は、条件付き使用、逆問題解決、モデル微調整など、拡散モデルの多くの変種に一般化される。
  論文  参考訳（メタデータ） (2023-10-08T19:02:46Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。