論文の概要: Diffuse and Disperse: Image Generation with Representation Regularization

• arxiv url: http://arxiv.org/abs/2506.09027v1
• Date: Tue, 10 Jun 2025 17:53:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:43.057524
• Title: Diffuse and Disperse: Image Generation with Representation Regularization
• Title（参考訳）: 拡散と分散:表現規則化による画像生成
• Authors: Runqian Wang, Kaiming He,
• Abstract要約: 拡散に基づく生成モデルを効果的に改善するプラグイン・アンド・プレイ・レギュレータである textitDispersive Loss を提案する。 我々の損失関数は、内部表現が、対照的な自己教師付き学習に類似した隠れ空間に分散することを奨励する。 最近の表現アライメント法(REPA)と比較して、我々のアプローチは自己完結型で最小限であり、事前学習も追加パラメータも外部データも必要としない。
• 参考スコア（独自算出の注目度）: 23.413550999126173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of diffusion-based generative models over the past decade has largely proceeded independently of progress in representation learning. These diffusion models typically rely on regression-based objectives and generally lack explicit regularization. In this work, we propose \textit{Dispersive Loss}, a simple plug-and-play regularizer that effectively improves diffusion-based generative models. Our loss function encourages internal representations to disperse in the hidden space, analogous to contrastive self-supervised learning, with the key distinction that it requires no positive sample pairs and therefore does not interfere with the sampling process used for regression. Compared to the recent method of representation alignment (REPA), our approach is self-contained and minimalist, requiring no pre-training, no additional parameters, and no external data. We evaluate Dispersive Loss on the ImageNet dataset across a range of models and report consistent improvements over widely used and strong baselines. We hope our work will help bridge the gap between generative modeling and representation learning.
• Abstract（参考訳）: 過去10年間の拡散に基づく生成モデルの開発は、表現学習の進歩とは独立して進んできた。 これらの拡散モデルは典型的には回帰に基づく目的に依存し、典型的には明示的な正規化を欠く。 本研究では,拡散に基づく生成モデルを効果的に改善するシンプルなプラグアンドプレイ正規化器である「textit{Dispersive Loss}」を提案する。 我々の損失関数は、正のサンプルペアを必要とせず、したがって回帰に使用されるサンプリングプロセスに干渉しないという点で、対照的な自己教師付き学習に類似した、隠れた空間で内部表現が分散することを奨励する。 最近の表現アライメント法(REPA)と比較して、我々のアプローチは自己完結型で最小限であり、事前学習も追加パラメータも外部データも必要としない。 我々は、ImageNetデータセット上の分散損失を、様々なモデルで評価し、広く使用されている強力なベースラインに対して一貫した改善を報告した。 私たちの仕事は、生成モデリングと表現学習のギャップを埋めるのに役立ちます。

関連論文リスト

• Continuous Visual Autoregressive Generation via Score Maximization [69.67438563485887]
  本稿では,ベクトル量子化なしで直接視覚的自己回帰生成を可能にする連続VARフレームワークを提案する。 このフレームワークの中で必要なのは、厳密な適切なスコアを選択し、最適化のトレーニング目標として設定することだけです。
  論文  参考訳（メタデータ） (2025-05-12T17:58:14Z)
• Generative Data Mining with Longtail-Guided Diffusion [39.460272573196896]
  トレーニング中に追加データを想像することで,プロアクティブなロングテール発見プロセスを開発する。 我々はこれらの信号をガイダンスとして利用し、潜在拡散モデルから追加のトレーニングデータを生成する。 LTGが生成したデータは意味論的に意味のある変化を示し、画像分類のベンチマークで大幅に一般化された。
  論文  参考訳（メタデータ） (2025-02-04T03:51:00Z)
• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 拡散モデルは、回帰を通じてスコア関数を訓練することだけを必要とするGANの非敵対的な代替品として登場した。 提案手法は, GANスタイルの模倣学習ベースラインと差別化なし模倣学習ベースラインの両方を, 連続制御問題に比較して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• Model Will Tell: Training Membership Inference for Diffusion Models [15.16244745642374]
  トレーニングメンバーシップ推論(TMI)タスクは、ターゲットモデルのトレーニングプロセスで特定のサンプルが使用されているかどうかを判断することを目的としている。 本稿では,拡散モデル内における本質的な生成先行情報を活用することで,TMIタスクの新たな視点を探求する。
  論文  参考訳（メタデータ） (2024-03-13T12:52:37Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• The Deep Generative Decoder: MAP estimation of representations improves modeling of single-cell RNA data [0.0]
  モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。 このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
  論文  参考訳（メタデータ） (2021-10-13T12:17:46Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。