論文の概要: Neon: Negative Extrapolation From Self-Training Improves Image Generation

• arxiv url: http://arxiv.org/abs/2510.03597v2
• Date: Tue, 07 Oct 2025 13:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 13:19:51.468154
• Title: Neon: Negative Extrapolation From Self-Training Improves Image Generation
• Title（参考訳）: Neon: 自己学習による否定的な外挿は画像生成を改善
• Authors: Sina Alemohammad, Zhangyang Wang, Richard G. Baraniuk,
• Abstract要約: 我々は,自己学習からの劣化を,自己改善のための強力な信号に変える新しい学習方法Neonを紹介する。 Neonは、新しい実際のデータを必要としない単純なポストホックマージを通じて、驚くほど簡単に実装でき、1kの合成サンプルで効果的に動作し、通常1%未満のトレーニング計算を使用する。
• 参考スコア（独自算出の注目度）: 67.68670918986408
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling generative AI models is bottlenecked by the scarcity of high-quality training data. The ease of synthesizing from a generative model suggests using (unverified) synthetic data to augment a limited corpus of real data for the purpose of fine-tuning in the hope of improving performance. Unfortunately, however, the resulting positive feedback loop leads to model autophagy disorder (MAD, aka model collapse) that results in a rapid degradation in sample quality and/or diversity. In this paper, we introduce Neon (for Negative Extrapolation frOm self-traiNing), a new learning method that turns the degradation from self-training into a powerful signal for self-improvement. Given a base model, Neon first fine-tunes it on its own self-synthesized data but then, counterintuitively, reverses its gradient updates to extrapolate away from the degraded weights. We prove that Neon works because typical inference samplers that favor high-probability regions create a predictable anti-alignment between the synthetic and real data population gradients, which negative extrapolation corrects to better align the model with the true data distribution. Neon is remarkably easy to implement via a simple post-hoc merge that requires no new real data, works effectively with as few as 1k synthetic samples, and typically uses less than 1% additional training compute. We demonstrate Neon's universality across a range of architectures (diffusion, flow matching, autoregressive, and inductive moment matching models) and datasets (ImageNet, CIFAR-10, and FFHQ). In particular, on ImageNet 256x256, Neon elevates the xAR-L model to a new state-of-the-art FID of 1.02 with only 0.36% additional training compute. Code is available at https://github.com/VITA-Group/Neon
• Abstract（参考訳）: 生成AIモデルのスケーリングは、高品質なトレーニングデータの不足によってボトルネックとなる。 生成モデルからの合成の容易さは、(検証されていない)合成データを用いて、パフォーマンスの向上を期待して、微調整を目的として、実データの限られたコーパスを増大させることを示唆している。 残念なことに、結果として生じる正のフィードバックループは、モデルオートファジー障害(MAD、別名モデル崩壊)につながり、サンプルの品質や多様性が急速に低下する。 本稿では,自己学習からの劣化を自己改善のための強力な信号に変換する新しい学習手法であるNeonを紹介する。 ベースモデルが与えられたら、Neonはまず自分自身の自己合成データに基づいて微調整するが、それと逆向きに、勾配の更新を反転させ、劣化した重量から外挿する。 高確率領域を選好する典型的な推論サンプリングは、合成データと実データの間で予測可能な反配向を生じさせ、負の補間が正し、モデルと真のデータ分布との整合がより良くなることを証明している。 Neonは、新しい実際のデータを必要としない単純なポストホックマージを通じて、驚くほど簡単に実装でき、1kの合成サンプルで効果的に動作し、通常1%未満のトレーニング計算を使用する。 我々は、Neonの普遍性を様々なアーキテクチャ(拡散、フローマッチング、自己回帰、帰納的モーメントマッチングモデル)とデータセット(ImageNet、CIFAR-10、FFHQ)で実証する。 特に ImageNet 256x256 では、Neon は xAR-L モデルを 1.02 の新たな最先端 FID に昇格させ、さらに 0.36% のトレーニング計算を追加した。 コードはhttps://github.com/VITA-Group/Neonで入手できる。

関連論文リスト

• Stylized Structural Patterns for Improved Neural Network Pre-training [1.8641315013048299]
  コンピュータビジョンにおけるディープラーニングモデルは、実際の画像の大規模なデータセットを必要とする。 最近の研究では、合成データが代替として提案されているが、訓練されたモデルはしばしば性能が劣っている。 そこで我々は,新しい種類の合成データを導入し,改良されたニューラルフラクタル定式化を提案する。 第二に,視覚的特徴を,ライセンスのない小さな実画像から合成データセットへ伝達する手法であるリバースススタイリングを提案する。
  論文  参考訳（メタデータ） (2025-06-24T09:47:31Z)
• Context-guided Responsible Data Augmentation with Diffusion Models [29.41191005466334]
  本稿では,DiffCoRe-Mixというテキスト・ツー・イメージ(T2I)データ拡張手法を提案する。 キーセマンティックな軸を保存するために、増大過程における望ましくない生成サンプルをフィルタリングする。 我々は、ImageNet-1K、Tiny ImageNet-200、CIFAR-100、Flowers102、CUB-Birds、Stanford Cars、Caltechのデータセットでこの手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2025-03-12T00:12:27Z)
• Self-Improving Diffusion Models with Synthetic Data [12.597035060380001]
  シンセティックデータを用いた自己IM拡散モデル(SIMS)は、拡散モデルのための新しい訓練概念である。 SIMSは自己合成データを使用して生成プロセス中に負のガイダンスを提供する。 MADを使わずに、自己生成合成データに対して反復的に訓練できる、最初の予防的生成AIアルゴリズムである。
  論文  参考訳（メタデータ） (2024-08-29T08:12:18Z)
• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• PromDA: Prompt-based Data Augmentation for Low-Resource NLU Tasks [61.51515750218049]
  本稿では,低リソース自然言語理解(NLU)タスクのためのデータ拡張について述べる。 小型ソフト・プロンプトのみを訓練するPrompt-based Data Augmentation Model (PromDA)を提案する。 PromDAは2つの異なるビューを通して合成データを生成し、低品質データをNLUモデルを用いてフィルタリングする。
  論文  参考訳（メタデータ） (2022-02-25T05:09:27Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。