論文の概要: Can Contrastive Learning Improve Class-Imbalanced Diffusion Model?

• arxiv url: http://arxiv.org/abs/2507.09052v1
• Date: Fri, 11 Jul 2025 21:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:22.17522
• Title: Can Contrastive Learning Improve Class-Imbalanced Diffusion Model?
• Title（参考訳）: コントラスト学習はクラス不均衡拡散モデルを改善するか?
• Authors: Fang Chen, Alex Villa, Gongbo Liang, Xiaoyi Lu, Meng Tang,
• Abstract要約: クラス条件画像合成のためのトレーニングデータは、尾のクラスのための限られた画像を持つ長い尾の分布を示すことが多い。 そこで本研究では,尾部画像の多様性を改善するために,概念的に単純だが高効率な2つのコントラスト損失関数を導入する。 このようなアライメントを拡散モデルに適応させるのはこれが初めてです。
• 参考スコア（独自算出の注目度）: 5.420928828677281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data for class-conditional image synthesis often exhibit a long-tailed distribution with limited images for tail classes. Such an imbalance causes mode collapse and reduces the diversity of synthesized images for tail classes. For class-conditional diffusion models trained on imbalanced data, we aim to improve the diversity of tail class images without compromising the fidelity and diversity of head class images. We achieve this by introducing two deceptively simple but highly effective contrastive loss functions. Firstly, we employ an unsupervised InfoNCE loss utilizing negative samples to increase the distance/dissimilarity among synthetic images, particularly for tail classes. To further enhance the diversity of tail classes, our second loss is an MSE loss that contrasts class-conditional generation with unconditional generation at large timesteps. This second loss makes the denoising process insensitive to class conditions for the initial steps, which enriches tail classes through knowledge sharing from head classes. Conditional-unconditional alignment has been shown to enhance the performance of long-tailed GAN. We are the first to adapt such alignment to diffusion models. We successfully leveraged contrastive learning for class-imbalanced diffusion models. Our contrastive learning framework is easy to implement and outperforms standard DDPM and alternative methods for class-imbalanced diffusion models across various datasets, including CIFAR10/100-LT, PlacesLT, TinyImageNetLT, and ImageNetLT.
• Abstract（参考訳）: クラス条件画像合成のためのトレーニングデータは、尾のクラスのための限られた画像を持つ長い尾の分布を示すことが多い。 このような不均衡はモード崩壊を引き起こし、尾クラスの合成画像の多様性を低下させる。 不均衡なデータに基づいて訓練されたクラス条件拡散モデルに対しては、頭部画像の忠実度や多様性を損なうことなく、尾画像の多様性を向上させることを目的としている。 これを実現するために,2つの概念的単純かつ高能率な競合損失関数を導入する。 まず、負のサンプルを利用した教師なしInfoNCE損失を用いて、合成画像、特にテールクラス間の距離/相違性を高める。 テールクラスの多様性をさらに高めるため、第2の損失は、クラス条件生成と非条件生成を大きな時間ステップで対比するMSE損失である。 この第二の損失は、初期ステップのクラス条件に敏感なデノナイジングプロセスをもたらし、ヘッドクラスからの知識共有を通じてテールクラスを豊かにする。 条件付き非条件アライメントは、長い尾を持つGANの性能を高めることが示されている。 このようなアライメントを拡散モデルに適応させるのはこれが初めてです。 クラス不均衡拡散モデルに対するコントラスト学習をうまく活用した。 CIFAR10/100-LT、PlacesLT、TinyImageNetLT、ImageNetLTなど、さまざまなデータセットにわたる標準DDPMやクラス不均衡拡散モデルの代替手法の実装と性能の向上が容易です。

関連論文リスト

• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Generating images of rare concepts using pre-trained diffusion models [32.5337654536764]
  テキスト・ツー・イメージ拡散モデルは高品質な画像を合成できるが、様々な制限がある。 これらの制限は、トレーニングデータの長い尾の性質に起因していることが示されています。 ノイズ空間内で適切な生成種を慎重に選択することで、稀な概念を正しく生成できることが示される。
  論文  参考訳（メタデータ） (2023-04-27T20:55:38Z)
• Improving GANs for Long-Tailed Data through Group Spectral Regularization [51.58250647277375]
  本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。 我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
  論文  参考訳（メタデータ） (2022-08-21T17:51:05Z)
• Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data [11.66734752179563]
  長い尾の分散データの分類は難しい問題である。 トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。 本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
  論文  参考訳（メタデータ） (2022-07-22T03:39:51Z)
• Improving Tail-Class Representation with Centroid Contrastive Learning [145.73991900239017]
  本稿では,長い尾を持つ表現学習を改善するために,補間型セントロイドコントラスト学習(ICCL)を提案する。 ICCLは、クラス別サンプルとクラス別サンプルの2つの画像を補間し、ICCLの表現が両方のソースクラスのセントロイドを取得するために使用されるようにモデルを訓練する。 我々の結果は、現実世界の長い尾の分布を持つiNaturalist 2018データセットで2.8%の精度向上を示した。
  論文  参考訳（メタデータ） (2021-10-19T15:24:48Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification [31.647639786095993]
  画像表現の教師付きコントラスト損失と、分類器を学習するためのクロスエントロピー損失からなる新しいハイブリッドネットワーク構造を提案する。 3つの長尾分類データセットに関する実験は、長尾分類における比較学習に基づくハイブリッドネットワークの提案の利点を示している。
  論文  参考訳（メタデータ） (2021-03-26T05:22:36Z)
• An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation [80.02124918255059]
  半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。 私たちは相互に教え合うために2つのネットワークを学びます。 各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
  論文  参考訳（メタデータ） (2020-11-25T03:29:52Z)
• Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
  我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。 これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。 非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
  論文  参考訳（メタデータ） (2020-08-28T23:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。