論文の概要: Sample-Efficient Training for Diffusion

• arxiv url: http://arxiv.org/abs/2311.13745v1
• Date: Thu, 23 Nov 2023 00:27:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 00:58:33.522988
• Title: Sample-Efficient Training for Diffusion
• Title（参考訳）: 拡散のためのサンプル効率トレーニング
• Authors: Shivam Gupta, Aditya Parulekar, Eric Price, Zhiyang Xun
• Abstract要約: 多くの理論的な研究により、拡散モデルが効率よくサンプリングできることが示されており、$L2$-精度のスコア推定を仮定している。 多対数的なサンプル数を用いて、スコアマッチング対象のバウンダリは、真の分布の確率$delta$分数を除いて、すべてで$L2$精度であることを示す。
• 参考スコア（独自算出の注目度）: 6.778168189732909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Score-based diffusion models have become the most popular approach to deep generative modeling of images, largely due to their empirical performance and reliability. Recently, a number of theoretical works \citep{chen2022, Chen2022ImprovedAO, Chenetal23flowode, benton2023linear} have shown that diffusion models can efficiently sample, assuming $L^2$-accurate score estimates. The score-matching objective naturally approximates the true score in $L^2$, but the sample complexity of existing bounds depends \emph{polynomially} on the data radius and desired Wasserstein accuracy. By contrast, the time complexity of sampling is only logarithmic in these parameters. We show that estimating the score in $L^2$ \emph{requires} this polynomial dependence, but that a number of samples that scales polylogarithmically in the Wasserstein accuracy actually do suffice for sampling. We show that with a polylogarithmic number of samples, the ERM of the score-matching objective is $L^2$ accurate on all but a probability $\delta$ fraction of the true distribution, and that this weaker guarantee is sufficient for efficient sampling.
• Abstract（参考訳）: スコアベースの拡散モデルは、その経験的性能と信頼性から、画像の深層生成モデルに対する最も一般的なアプローチとなっている。 近年,いくつかの理論研究が,l^2$-accurate score 推定を仮定して,拡散モデルが効率的にサンプル化できることを実証している。 スコアマッチングの目的は自然に$L^2$の真のスコアを近似するが、既存の境界のサンプルの複雑さはデータ半径と所望のワッサーシュタイン精度に依存する。 対照的に、サンプリングの時間複雑性はこれらのパラメータの対数のみである。 この多項式依存度は$l^2$ \emph{requires} でスコアを推定するが、ワッサースタイン精度で多対数にスケールする多くのサンプルはサンプリングに十分である。 本研究は, 多対数的なサンプル数を用いて, スコアマッチング対象のERMが真の分布の確率$\delta$分数以外のすべてに対して$L^2$精度であり, より弱い保証は効率的なサンプリングに十分であることを示す。

関連論文リスト

• Ablation Based Counterfactuals [7.481286710933861]
  ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。 拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。 次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
  論文  参考訳（メタデータ） (2024-06-12T06:22:51Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Deep adaptive sampling for surrogate modeling without labeled data [4.047684532081032]
  代理モデリングのための深層適応サンプリング法(textDAS2$)を提案する。 パラメトリック設定では、残留損失関数は非正規化確率密度関数とみなすことができる。 新しいサンプルは残留誘起分布と一致し、洗練されたトレーニングセットは統計誤差をさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-02-17T13:44:02Z)
• Diffusion Random Feature Model [0.0]
  本稿では,拡散モデルにインスパイアされた深部ランダム特徴モデルを提案する。 サンプルデータの分布と真の分布との一般化境界をスコアマッチングの特性を用いて導出する。 ファッションMNISTデータセットとインストゥルメンタルオーディオデータに基づいてサンプルを生成し,本研究の検証を行った。
  論文  参考訳（メタデータ） (2023-10-06T17:59:05Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Can Push-forward Generative Models Fit Multimodal Distributions? [3.8615905456206256]
  生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
  論文  参考訳（メタデータ） (2022-06-29T09:03:30Z)
• Diffusion models as plug-and-play priors [98.16404662526101]
  我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。 拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
  論文  参考訳（メタデータ） (2022-06-17T21:11:36Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。