論文の概要: CORAL: Disentangling Latent Representations in Long-Tailed Diffusion

• arxiv url: http://arxiv.org/abs/2506.15933v1
• Date: Thu, 19 Jun 2025 00:23:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.893906
• Title: CORAL: Disentangling Latent Representations in Long-Tailed Diffusion
• Title（参考訳）: コラル:長期拡散における潜伏表現の遠ざかる
• Authors: Esther Rodriguez, Monica Welfert, Samuel McDowell, Nathan Stromberg, Julian Antolin Camarena, Lalitha Sankar,
• Abstract要約: 長い尾を持つデータセットで訓練した拡散モデルの挙動について検討する。 尾級部分空間の潜在表現は、ヘッドクラスのそれと大きな重複を示す。 本稿では、教師付き相対的損失を利用して、よく区切られた潜在クラス表現を促進するコントラスト型潜在クラスアライメントフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.310167974376405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have achieved impressive performance in generating high-quality and diverse synthetic data. However, their success typically assumes a class-balanced training distribution. In real-world settings, multi-class data often follow a long-tailed distribution, where standard diffusion models struggle -- producing low-diversity and lower-quality samples for tail classes. While this degradation is well-documented, its underlying cause remains poorly understood. In this work, we investigate the behavior of diffusion models trained on long-tailed datasets and identify a key issue: the latent representations (from the bottleneck layer of the U-Net) for tail class subspaces exhibit significant overlap with those of head classes, leading to feature borrowing and poor generation quality. Importantly, we show that this is not merely due to limited data per class, but that the relative class imbalance significantly contributes to this phenomenon. To address this, we propose COntrastive Regularization for Aligning Latents (CORAL), a contrastive latent alignment framework that leverages supervised contrastive losses to encourage well-separated latent class representations. Experiments demonstrate that CORAL significantly improves both the diversity and visual quality of samples generated for tail classes relative to state-of-the-art methods.
• Abstract（参考訳）: 拡散モデルは、高品質で多様な合成データを生成する際、優れた性能を達成した。 しかしながら、彼らの成功は通常、クラスバランスのトレーニング分布を前提とします。 現実の環境では、マルチクラスのデータは、標準拡散モデルが苦戦している長い尾の分布に従うことが多く、尾のクラスの低多様性と低品質のサンプルを生成する。 この劣化はよく文書化されているが、その根本原因はよく分かっていない。 本研究では,長鎖データセット上で訓練された拡散モデルの挙動を調査し,主要な課題を同定する: 尾クラス部分空間に対する潜在表現(U-Netのボトルネック層から)は,ヘッドクラスのそれと大きな重複を示し,特徴借入や生成品質の低下をもたらす。 重要なことは、これはクラスごとの限られたデータによるものではなく、相対的なクラス不均衡がこの現象に大きく寄与することを示している。 これを解決するために,教師付きコントラクティブな損失を利用してよく区切られたラテントクラス表現を促進するコントラスト型ラテントアライメントフレームワークであるContrastive Regularization for Aligning Latents (CORAL)を提案する。 実験により、Coralは最先端の手法と比較して、テールクラスで生成されたサンプルの多様性と視覚的品質の両方を著しく改善することが示された。

関連論文リスト

• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Fair GANs through model rebalancing for extremely imbalanced class distributions [5.463417677777276]
  本稿では,既存のバイアス付きGANからGAN(unbiased generative adversarial Network)を構築するためのアプローチを提案する。 Flickr Faces High Quality (FFHQ) データセットを用いて、人種的公平性をトレーニングしながら、StyleGAN2モデルの結果を示す。 また,不均衡なCIFAR10データセットに適用することで,我々のアプローチをさらに検証する。
  論文  参考訳（メタデータ） (2023-08-16T19:20:06Z)
• Concept Drift and Long-Tailed Distribution in Fine-Grained Visual Categorization: Benchmark and Method [84.68818879525568]
  コンセプションドリフトとLong-Tailed Distributionデータセットを提案する。 インスタンスの特徴は時間によって異なり、長い尾の分布を示す傾向がある。 本稿ではCDLTに関連する学習課題に対処する機能組換えフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-04T12:42:45Z)
• Class-Balancing Diffusion Models [57.38599989220613]
  クラスバランシング拡散モデル(CBDM)は、分散調整正規化器をソリューションとして訓練する。 提案手法は,CIFAR100/CIFAR100LTデータセットで生成結果をベンチマークし,下流認識タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-30T20:00:14Z)
• Improving GANs for Long-Tailed Data through Group Spectral Regularization [51.58250647277375]
  本稿では, スペクトル爆発によるモード崩壊を防止する新しいグループスペクトル正規化器 (gSR) を提案する。 我々は,gSRが既存の拡張および正規化技術と効果的に組み合わせることで,長期化データ上での最先端の画像生成性能が向上することを発見した。
  論文  参考訳（メタデータ） (2022-08-21T17:51:05Z)
• Targeted Supervised Contrastive Learning for Long-Tailed Recognition [50.24044608432207]
  実世界のデータは、しばしば重いクラス不均衡の長い尾の分布を示す。 教師付きコントラスト学習は性能向上に寄与するが、過去のベースラインは不均衡なデータ分布によってもたらされる不均一さに悩まされている。 我々は,超球面上の特徴分布の均一性を改善するための教師付きコントラスト学習(TSC)を提案する。
  論文  参考訳（メタデータ） (2021-11-27T22:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。