論文の概要: Don't drop your samples! Coherence-aware training benefits Conditional diffusion

• arxiv url: http://arxiv.org/abs/2405.20324v1
• Date: Thu, 30 May 2024 17:57:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 12:50:16.823899
• Title: Don't drop your samples! Coherence-aware training benefits Conditional diffusion
• Title（参考訳）: サンプルを落とさないで!コヒーレンス対応のトレーニングは条件付き拡散に役立ちます
• Authors: Nicolas Dufour, Victor Besnier, Vicky Kalogeiton, David Picard,
• Abstract要約: Coherence-Aware Diffusion (CAD) は条件情報のコヒーレンスを拡散モデルに統合する新しい手法である。 CADは理論的に健全であり,様々な条件生成タスクに対して実験的に有効であることを示す。
• 参考スコア（独自算出の注目度）: 17.349357521783062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional diffusion models are powerful generative models that can leverage various types of conditional information, such as class labels, segmentation masks, or text captions. However, in many real-world scenarios, conditional information may be noisy or unreliable due to human annotation errors or weak alignment. In this paper, we propose the Coherence-Aware Diffusion (CAD), a novel method that integrates coherence in conditional information into diffusion models, allowing them to learn from noisy annotations without discarding data. We assume that each data point has an associated coherence score that reflects the quality of the conditional information. We then condition the diffusion model on both the conditional information and the coherence score. In this way, the model learns to ignore or discount the conditioning when the coherence is low. We show that CAD is theoretically sound and empirically effective on various conditional generation tasks. Moreover, we show that leveraging coherence generates realistic and diverse samples that respect conditional information better than models trained on cleaned datasets where samples with low coherence have been discarded.
• Abstract（参考訳）: 条件拡散モデルは、クラスラベル、セグメンテーションマスク、テキストキャプションなど、様々な種類の条件情報を活用できる強力な生成モデルである。 しかし、現実の多くのシナリオでは、人間のアノテーションの誤りやアライメントの弱いため、条件情報のノイズや信頼性が低い場合がある。 本稿では,条件情報中のコヒーレンスを拡散モデルに統合し,データを捨てることなくノイズの多いアノテーションから学習する手法であるコヒーレンス・アウェア拡散法(CAD)を提案する。 各データポイントは条件情報の質を反映したコヒーレンススコアを持つと仮定する。 次に、条件情報とコヒーレンススコアの両方に拡散モデルを条件付けする。 このようにして、モデルはコヒーレンスが低いときに条件を無視または割引することを学ぶ。 CADは理論的に健全であり,様々な条件生成タスクに対して実験的に有効であることを示す。 さらに,コヒーレンスを活用すれば,コヒーレンスが低いサンプルを廃棄したクリーンデータセット上で訓練されたモデルよりも,条件情報を尊重する現実的で多様なサンプルが生成されることを示す。

関連論文リスト

• Diverse capability and scaling of diffusion and auto-regressive models when learning abstract rules [4.710921988115686]
  本稿では, 有限標本から基礎となるルールを学習し, 条件付きサンプリングにより推論を行うことができるかを検討する。 RavenのProgressive Matricesタスクにインスパイアされた私たちは、各サンプルが3行からなるGenRAVENデータセットを設計しました。 我々は、データ分散を学ぶために生成モデルを訓練し、そこでサンプルを整数配列としてエンコードしてルール学習に集中させた。
  論文  参考訳（メタデータ） (2024-11-12T15:29:50Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• PriSampler: Mitigating Property Inference of Diffusion Models [6.5990719141691825]
  この研究は、拡散モデルに対する資産推測攻撃に関する最初のプライバシー研究を体系的に提示する。 拡散モデルの特性推定のリスクを推測するモデルに依存しない新しいプラグイン手法PriSamplerを提案する。
  論文  参考訳（メタデータ） (2023-06-08T14:05:06Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• Visual Chain-of-Thought Diffusion Models [15.547439887203613]
  2段階サンプリング手法を用いて条件付きモデルと条件なしモデルとのギャップを埋めることを提案する。 これにより、条件拡散モデルの非条件生成タスクのパワーを活用し、標準の非条件生成と比較してFIDを25-50%改善することを示す。
  論文  参考訳（メタデータ） (2023-03-28T17:53:06Z)
• ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion Trajectories [144.03939123870416]
  本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。 いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。 我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-02-05T12:48:21Z)
• Why Are Conditional Generative Models Better Than Unconditional Ones? [36.870497480570776]
  そこで本研究では,k-meansアルゴリズムによってクラスタリングされた指標に基づいて,事前学習されたモデルによって抽出された特徴に基づいて,自己条件付き拡散モデル(SCDM)を提案する。 SCDMは、さまざまなデータセットにわたる無条件モデルと、ラベルなしでImageNet 64x64上で3.94の記録破りのFIDを実現している。
  論文  参考訳（メタデータ） (2022-12-01T08:44:21Z)
• Collapse by Conditioning: Training Class-conditional GANs with Limited Data [109.30895503994687]
  非条件学習を活用することにより、観測モード崩壊を効果的に防止する条件付きGAN(cGAN)のトレーニング戦略を提案する。 我々のトレーニング戦略は、無条件のGANから始まり、徐々に条件情報をジェネレータと目的関数に注入する。 安定したトレーニングだけでなく,高品質な画像を生成するために,限られたデータでcGANを訓練する手法を提案する。
  論文  参考訳（メタデータ） (2022-01-17T18:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。