論文の概要: Self-Improving Diffusion Models with Synthetic Data

• arxiv url: http://arxiv.org/abs/2408.16333v1
• Date: Thu, 29 Aug 2024 08:12:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:32:51.680976
• Title: Self-Improving Diffusion Models with Synthetic Data
• Title（参考訳）: 合成データを用いた自己改善拡散モデル
• Authors: Sina Alemohammad, Ahmed Imtiaz Humayun, Shruti Agarwal, John Collomosse, Richard Baraniuk,
• Abstract要約: シンセティックデータを用いた自己IM拡散モデル(SIMS)は、拡散モデルのための新しい訓練概念である。 SIMSは自己合成データを使用して生成プロセス中に負のガイダンスを提供する。 MADを使わずに、自己生成合成データに対して反復的に訓練できる、最初の予防的生成AIアルゴリズムである。
• 参考スコア（独自算出の注目度）: 12.597035060380001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The artificial intelligence (AI) world is running out of real data for training increasingly large generative models, resulting in accelerating pressure to train on synthetic data. Unfortunately, training new generative models with synthetic data from current or past generation models creates an autophagous (self-consuming) loop that degrades the quality and/or diversity of the synthetic data in what has been termed model autophagy disorder (MAD) and model collapse. Current thinking around model autophagy recommends that synthetic data is to be avoided for model training lest the system deteriorate into MADness. In this paper, we take a different tack that treats synthetic data differently from real data. Self-IMproving diffusion models with Synthetic data (SIMS) is a new training concept for diffusion models that uses self-synthesized data to provide negative guidance during the generation process to steer a model's generative process away from the non-ideal synthetic data manifold and towards the real data distribution. We demonstrate that SIMS is capable of self-improvement; it establishes new records based on the Fr\'echet inception distance (FID) metric for CIFAR-10 and ImageNet-64 generation and achieves competitive results on FFHQ-64 and ImageNet-512. Moreover, SIMS is, to the best of our knowledge, the first prophylactic generative AI algorithm that can be iteratively trained on self-generated synthetic data without going MAD. As a bonus, SIMS can adjust a diffusion model's synthetic data distribution to match any desired in-domain target distribution to help mitigate biases and ensure fairness.
• Abstract（参考訳）: 人工知能(AI)の世界は、ますます大きな生成モデルを訓練するために、実際のデータを使い果たしている。 残念なことに、現在または過去の生成モデルから合成データを用いて新しい生成モデルをトレーニングすると、自己消費ループが生成され、モデルオートファジー障害(MAD)と呼ばれる合成データの品質と/または多様性が低下し、モデル崩壊する。 モデルオートファジーに関する現在の考え方は、システムはMADnessに劣化するモデルトレーニングのために合成データを避けることを推奨している。 本稿では,実データと異なる合成データを扱うタックを取り上げる。 Synthetic Data (SIMS) を用いた自己改善拡散モデル(Self-improving diffusion model)は、自己合成データを用いた拡散モデルの新たなトレーニング概念である。 CIFAR-10 と ImageNet-64 生成のための Fr'echet inception distance (FID) 測定値に基づいて新たなレコードを作成し,FFHQ-64 と ImageNet-512 の競合結果を得る。 さらに、SIMSは、私たちの知る限り、MADを使わずに自己生成された合成データに対して反復的に訓練できる最初の予防的生成AIアルゴリズムである。 ボーナスとして、SIMSは拡散モデルの合成データ分布を任意のドメイン内のターゲット分布に合わせるように調整し、バイアスを緩和し公平性を確保する。

関連論文リスト

• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Self-Correcting Self-Consuming Loops for Generative Model Training [16.59453827606427]
  機械学習モデルは、人間と機械が生成したデータの混合に基づいて、ますます訓練されている。 合成データを用いた表現学習の成功にもかかわらず、合成データを用いた生成モデルトレーニングは「自己消費ループ」を創出する 本稿では,理想化された補正関数を導入することで,自己消費生成モデルの訓練を安定化することを目的とする。
  論文  参考訳（メタデータ） (2024-02-11T02:34:42Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Private Synthetic Data Meets Ensemble Learning [15.425653946755025]
  機械学習モデルが合成データに基づいてトレーニングされ、実際のデータにデプロイされると、しばしばパフォーマンス低下が発生する。 実データを用いた場合のパフォーマンス向上を目標として,下流モデルのトレーニングのための新たなアンサンブル戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-15T04:24:42Z)
• On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
  混合データセットに対する生成モデルの訓練が与える影響について検討する。 まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。 我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
  論文  参考訳（メタデータ） (2023-09-30T16:41:04Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Differentially Private Diffusion Models Generate Useful Synthetic Images [53.94025967603649]
  近年の研究では、いくつかの拡散モデルの出力がトレーニングデータのプライバシを保持していないことが報告されている。 CIFAR-10 と Camelyon17 のSOTA 結果を得た。 以上の結果から,差分プライバシーで微調整された拡散モデルが有用かつ実証可能なプライベートな合成データを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-27T15:02:04Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• STAN: Synthetic Network Traffic Generation with Generative Neural Models [10.54843182184416]
  本稿では,現実的な合成ネットワークトラフィックデータセットを生成するためのSTAN(Synthetic Network Traffic Generation with Autoregressive Neural Model)を提案する。 私たちの新しいニューラルアーキテクチャは、常に属性間の時間的依存関係と依存の両方をキャプチャします。 我々は、シミュレーションデータセットと実ネットワークトラフィックデータセットの両方で、STANの性能を、データの品質の観点から評価する。
  論文  参考訳（メタデータ） (2020-09-27T04:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。