論文の概要: Constrained Diffusion Models via Dual Training

• arxiv url: http://arxiv.org/abs/2408.15094v1
• Date: Tue, 27 Aug 2024 14:25:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 13:33:40.756980
• Title: Constrained Diffusion Models via Dual Training
• Title（参考訳）: 双対学習による拘束拡散モデル
• Authors: Shervin Khalafi, Dongsheng Ding, Alejandro Ribeiro,
• Abstract要約: 我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
• 参考スコア（独自算出の注目度）: 80.03953599062365
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion models have attained prominence for their ability to synthesize a probability distribution for a given dataset via a diffusion process, enabling the generation of new data points with high fidelity. However, diffusion processes are prone to generating biased data based on the training dataset. To address this issue, we develop constrained diffusion models by imposing diffusion constraints based on desired distributions that are informed by requirements. Specifically, we cast the training of diffusion models under requirements as a constrained distribution optimization problem that aims to reduce the distribution difference between original and generated data while obeying constraints on the distribution of generated data. We show that our constrained diffusion models generate new data from a mixture data distribution that achieves the optimal trade-off among objective and constraints. To train constrained diffusion models, we develop a dual training algorithm and characterize the optimality of the trained constrained diffusion model. We empirically demonstrate the effectiveness of our constrained models in two constrained generation tasks: (i) we consider a dataset with one or more underrepresented classes where we train the model with constraints to ensure fairly sampling from all classes during inference; (ii) we fine-tune a pre-trained diffusion model to sample from a new dataset while avoiding overfitting.
• Abstract（参考訳）: 拡散モデルは、拡散過程を通じて与えられたデータセットの確率分布を合成し、高い忠実度で新しいデータポイントを生成できる能力で有名になった。 しかし、拡散過程はトレーニングデータセットに基づいてバイアスデータを生成する傾向にある。 この問題に対処するために,所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 具体的には,生成データの分布に制約を課しながら,原データと生成データとの分布差を低減することを目的とした,制約分散最適化問題として,要求下での拡散モデルのトレーニングを行った。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。 制約付き拡散モデルを訓練するために、二元学習アルゴリズムを開発し、訓練された制約付き拡散モデルの最適性を特徴付ける。 制約付きモデルの有効性を2つの制約付き生成タスクで実証的に実証する。 i) 推論中にすべてのクラスから適切なサンプリングを保証するために、制約付きでモデルをトレーニングする、1つ以上の過小評価されたクラスを持つデータセットについて検討する。 (II) オーバーフィッティングを回避しつつ, トレーニング済み拡散モデルを微調整し, 新たなデータセットからサンプリングする。

関連論文リスト

• Constraint-Aware Diffusion Models for Trajectory Optimization [9.28162057044835]
  本稿では,軌道最適化のための制約対応拡散モデルを提案する。 拡散サンプルの制約違反を最小限に抑える訓練用ハイブリッド損失関数を提案する。 本モデルでは, テーブルトップ操作と2台のリーチ回避問題について検討した。
  論文  参考訳（メタデータ） (2024-06-03T04:53:20Z)
• Physics-Informed Diffusion Models [0.0]
  本稿では,モデル学習中に生成されたサンプルに対して,基礎となる制約の拡散モデルに通知する枠組みを提案する。 提案手法は, 提案した制約付きサンプルのアライメントを改良し, 既存手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Fair Sampling in Diffusion Models through Switching Mechanism [5.560136885815622]
  本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。 提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
  論文  参考訳（メタデータ） (2024-01-06T06:55:26Z)
• On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
  本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。 その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T01:42:23Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。