論文の概要: Constrained Diffusion Models via Dual Training

• arxiv url: http://arxiv.org/abs/2408.15094v2
• Date: Fri, 22 Nov 2024 05:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:01:39.309376
• Title: Constrained Diffusion Models via Dual Training
• Title（参考訳）: 双対学習による拘束拡散モデル
• Authors: Shervin Khalafi, Dongsheng Ding, Alejandro Ribeiro,
• Abstract要約: 拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
• 参考スコア（独自算出の注目度）: 80.03953599062365
• License:
• Abstract: Diffusion models have attained prominence for their ability to synthesize a probability distribution for a given dataset via a diffusion process, enabling the generation of new data points with high fidelity. However, diffusion processes are prone to generating samples that reflect biases in a training dataset. To address this issue, we develop constrained diffusion models by imposing diffusion constraints based on desired distributions that are informed by requirements. Specifically, we cast the training of diffusion models under requirements as a constrained distribution optimization problem that aims to reduce the distribution difference between original and generated data while obeying constraints on the distribution of generated data. We show that our constrained diffusion models generate new data from a mixture data distribution that achieves the optimal trade-off among objective and constraints. To train constrained diffusion models, we develop a dual training algorithm and characterize the optimality of the trained constrained diffusion model. We empirically demonstrate the effectiveness of our constrained models in two constrained generation tasks: (i) we consider a dataset with one or more underrepresented classes where we train the model with constraints to ensure fairly sampling from all classes during inference; (ii) we fine-tune a pre-trained diffusion model to sample from a new dataset while avoiding overfitting.
• Abstract（参考訳）: 拡散モデルは、拡散過程を通じて与えられたデータセットの確率分布を合成し、高い忠実度で新しいデータポイントを生成できる能力で有名になった。 しかし、拡散過程はトレーニングデータセットのバイアスを反映するサンプルを生成する傾向にある。 この問題に対処するために,所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 具体的には,生成データの分布に制約を課しながら,原データと生成データとの分布差を低減することを目的とした,制約分散最適化問題として,要求下での拡散モデルのトレーニングを行った。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。 制約付き拡散モデルを訓練するために、二元学習アルゴリズムを開発し、訓練された制約付き拡散モデルの最適性を特徴付ける。 制約付きモデルの有効性を2つの制約付き生成タスクで実証的に実証する。 i) 推論中にすべてのクラスから適切なサンプリングを保証するために、制約付きでモデルをトレーニングする、1つ以上の過小評価されたクラスを持つデータセットについて検討する。 (II) オーバーフィッティングを回避しつつ, トレーニング済み拡散モデルを微調整し, 新たなデータセットからサンプリングする。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Constraint-Aware Diffusion Models for Trajectory Optimization [9.28162057044835]
  本稿では,軌道最適化のための制約対応拡散モデルを提案する。 拡散サンプルの制約違反を最小限に抑える訓練用ハイブリッド損失関数を提案する。 本モデルでは, テーブルトップ操作と2台のリーチ回避問題について検討した。
  論文  参考訳（メタデータ） (2024-06-03T04:53:20Z)
• Physics-Informed Diffusion Models [0.0]
  本稿では,モデル学習中に生成されたサンプルに対して,基礎となる制約の拡散モデルに通知する枠組みを提案する。 提案手法は, 提案した制約付きサンプルのアライメントを改良し, 既存手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Fair Sampling in Diffusion Models through Switching Mechanism [5.560136885815622]
  本研究では,拡散モデルに対するテクスタトリビュートスイッチング機構という,公平性を考慮したサンプリング手法を提案する。 提案手法の有効性を2つの重要な側面から数学的に証明し,実験的に実証する。
  論文  参考訳（メタデータ） (2024-01-06T06:55:26Z)
• On the Limitation of Diffusion Models for Synthesizing Training Datasets [5.384630221560811]
  本稿では, 実試料から再構成した合成試料を拡散・逆過程により解析することにより, 合成試料と実試料とのギャップを解明する。 その結果, 合成データセットは, 最先端拡散モデルを用いても, 実際のデータセットの分類性能を低下させることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T01:42:23Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• The Score-Difference Flow for Implicit Generative Modeling [1.309716118537215]
  Inlicit Generative Modelingは、対象データ分布と一致する合成データのサンプルを作成することを目的としている。 最近の研究は、合成音源データをターゲット分布へプッシュする観点から、IGG問題にアプローチしている。 任意のターゲット分布とソース分布のスコア差を,Kulback-Leibler分散を最適に低減するフローとして提示する。
  論文  参考訳（メタデータ） (2023-04-25T15:21:12Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。