論文の概要: Why Are Conditional Generative Models Better Than Unconditional Ones?

• arxiv url: http://arxiv.org/abs/2212.00362v1
• Date: Thu, 1 Dec 2022 08:44:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 16:49:26.330389
• Title: Why Are Conditional Generative Models Better Than Unconditional Ones?
• Title（参考訳）: なぜ条件生成モデルが無条件モデルより優れているのか?
• Authors: Fan Bao, Chongxuan Li, Jiacheng Sun, Jun Zhu
• Abstract要約: そこで本研究では,k-meansアルゴリズムによってクラスタリングされた指標に基づいて,事前学習されたモデルによって抽出された特徴に基づいて,自己条件付き拡散モデル(SCDM)を提案する。 SCDMは、さまざまなデータセットにわたる無条件モデルと、ラベルなしでImageNet 64x64上で3.94の記録破りのFIDを実現している。
• 参考スコア（独自算出の注目度）: 36.870497480570776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extensive empirical evidence demonstrates that conditional generative models are easier to train and perform better than unconditional ones by exploiting the labels of data. So do score-based diffusion models. In this paper, we analyze the phenomenon formally and identify that the key of conditional learning is to partition the data properly. Inspired by the analyses, we propose self-conditioned diffusion models (SCDM), which is trained conditioned on indices clustered by the k-means algorithm on the features extracted by a model pre-trained in a self-supervised manner. SCDM significantly improves the unconditional model across various datasets and achieves a record-breaking FID of 3.94 on ImageNet 64x64 without labels. Besides, SCDM achieves a slightly better FID than the corresponding conditional model on CIFAR10.
• Abstract（参考訳）: 広範な実証的証拠は、条件付き生成モデルがデータラベルを利用することにより、無条件モデルよりも訓練が容易で、より優れた性能を示す。 スコアベースの拡散モデルも必要です。 本稿では,この現象を解析し,条件学習の鍵はデータを適切に分割することであることを示す。 そこで本研究では,k-meansアルゴリズムによりクラスタリングされた指標に基づいて,事前学習したモデルによって抽出された特徴に基づいて,自己条件付き拡散モデル(SCDM)を提案する。 SCDMは様々なデータセットの無条件モデルを大幅に改善し、ラベルなしでImageNet 64x64で3.94のFIDを記録破りに達成している。 さらに、SCDMはCIFAR10の対応する条件モデルよりも若干良いFIDを達成する。

関連論文リスト

• Diverse capability and scaling of diffusion and auto-regressive models when learning abstract rules [4.710921988115686]
  本稿では, 有限標本から基礎となるルールを学習し, 条件付きサンプリングにより推論を行うことができるかを検討する。 RavenのProgressive Matricesタスクにインスパイアされた私たちは、各サンプルが3行からなるGenRAVENデータセットを設計しました。 我々は、データ分散を学ぶために生成モデルを訓練し、そこでサンプルを整数配列としてエンコードしてルール学習に集中させた。
  論文  参考訳（メタデータ） (2024-11-12T15:29:50Z)
• Towards a Theoretical Understanding of Memorization in Diffusion Models [76.85077961718875]
  拡散確率モデル(DPM)は、生成人工知能(GenAI)の主流モデルとして採用されている。 モデル収束を前提とした条件付きおよび非条件付きDPMにおける記憶の理論的理解を提供する。 本研究では、生成されたデータに基づいて訓練された時間依存型分類器を代理条件として利用し、無条件DPMからトレーニングデータを抽出する、textbfSurrogate condItional Data extract (SIDE) という新しいデータ抽出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T13:17:06Z)
• Don't drop your samples! Coherence-aware training benefits Conditional diffusion [17.349357521783062]
  Coherence-Aware Diffusion (CAD) は条件情報のコヒーレンスを拡散モデルに統合する新しい手法である。 CADは理論的に健全であり,様々な条件生成タスクに対して実験的に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T17:57:26Z)
• Training Data Protection with Compositional Diffusion Models [99.46239561159953]
  比較拡散モデル(CDM)は、異なるデータソース上で異なる拡散モデル(またはプロンプト)を訓練する手法である。 個々のモデルは、独立した、異なるタイミングで、異なる分散とドメインでトレーニングすることができる。 各モデルには、トレーニング中に露出したデータのサブセットに関する情報のみが含まれており、いくつかの形式のトレーニングデータ保護を可能にする。
  論文  参考訳（メタデータ） (2023-08-02T23:27:49Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
  教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。 本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-12T14:25:40Z)
• Autoregressive Diffusion Models [34.125045462636386]
  本稿では,次数に依存しない自己回帰モデルを含むモデルクラスであるAutoregressive Diffusion Models (ARDMs)を紹介する。 ARDMは実装が簡単で、訓練も容易であり、現代の確率的拡散モデルに似た効率的な目的を用いて訓練することができる。 我々は,ARDMが完全なデータセットだけでなく,単一のデータポイントの圧縮においても,説得力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-05T13:36:55Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。