論文の概要: Improving Generative Adversarial Networks with Self-Distillation

• arxiv url: http://arxiv.org/abs/2605.08577v1
• Date: Sat, 09 May 2026 00:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.751979
• Title: Improving Generative Adversarial Networks with Self-Distillation
• Title（参考訳）: 自己蒸留による生成的敵ネットワークの改善
• Abstract要約: 現代のGANでは、発電機の重量の指数移動平均(EMA)を維持することが標準的な慣行である。 本稿では,EMAジェネレータを教師として利用し,アクティブジェネレータの損失を誘導する自己蒸留GAN(SD-GAN)について紹介する。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern GANs, maintaining an Exponential Moving Average (EMA) of the generator's weights is a standard practice, as such an averaged model consistently outperforms the actively trained generator. However, the EMA generator is used for final deployment only and does not influence the training process. To address this missed opportunity, we introduce Self-Distilled GAN (SD-GAN) that employs the EMA generator as a teacher to guide the active generator (student) via perceptual loss. We prove the local asymptotic stability of SD-GAN in the Dirac-GAN setting and show that it dampens the parasitic cycling behavior that plagues the conventional GANs. Empirical evaluations across established architectures and datasets demonstrate that SD-GAN improves the final image quality on several metrics (FID and random-FID in particular), stabilizes the optimization trajectory and provides additional learning guidance that is not trivially correlated with the conventional adversarial loss. It also proves effective for fine-tuning pretrained GAN models.
• Abstract（参考訳）: 現代のGANでは、発電機の重量の指数移動平均(EMA)を維持することは標準的慣行であり、そのような平均されたモデルはアクティブに訓練された発電機を一貫して上回る。 しかし、EMAジェネレータは最終配置にのみ使用され、トレーニングプロセスに影響を与えない。 この機会の欠如に対処するために,EMAジェネレータを教師として利用し,アクティブジェネレータ(学生)を知覚的損失によって誘導するセルフ蒸留GAN(SD-GAN)を導入する。 SD-GANの局所的な漸近安定性をDirac-GAN設定で証明し,従来のGANを悩ませる寄生性サイクリング行動を抑制することを示す。 確立されたアーキテクチャとデータセット間の実証的な評価は、SD-GANがいくつかのメトリクス(特にFIDとランダムFID)の最終的な画質を改善し、最適化の軌道を安定化し、従来の敵の損失と自明に相関しない追加の学習ガイダンスを提供することを示している。 また、訓練済みのGANモデルの微調整にも有効である。

関連論文リスト

• Breaking Latent Prior Bias in Detectors for Generalizable AIGC Image Detection [11.907536189598577]
  現在のAIGC検出器は、トレーニングに使用される同じジェネレータで生成された画像に対してほぼ完璧な精度を達成するが、目に見えないジェネレータからの出力に一般化するのに苦労する。 検出器は、堅牢な生成アーティファクトを学ぶのではなく、初期ノイズベクトルから発生するパターンに関連するショートカットを学習する。 そこで我々は, 発電機の出力多様体に残る逆数例を生成するオン・マニフォールド・逆数訓練(OMAT)を提案する。
  論文  参考訳（メタデータ） (2025-06-01T07:20:45Z)
• Restoration Score Distillation: From Corrupted Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  Score Distillation (DSD) の原理的一般化である textitRestoration Score Distillation (RSD) を提案する。 RSDは、ぼやけた画像、不完全画像、低解像度画像など、広範囲の汚職タイプに対応している。 自然と科学の両方のデータセットの様々な復元作業において、教師モデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-19T17:21:03Z)
• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• MCGAN: Enhancing GAN Training with Regression-Based Generator Loss [5.7645234295847345]
  高忠実度データを生成する強力なツールとして,GAN(Generative Adversarial Network)が登場している。 既存のアプローチの主なボトルネックは、ジェネレータトレーニングの監督の欠如である。 我々はモンテカルロガン(MCGAN)と呼ばれるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-27T14:15:52Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• Robust Generative Adversarial Network [37.015223009069175]
  トレーニングサンプルの小さな地区における局所的ロバスト性を促進することにより,GANの一般化能力の向上を目指す。 我々は,ジェネレータと識別器が,小さなワッサーシュタイン球内でテキストワーストケース設定で互いに競合する,ロバストな最適化フレームワークを設計する。 我々の頑健な手法は、穏やかな仮定の下で従来のGANよりも厳密な一般化上限が得られることを証明した。
  論文  参考訳（メタデータ） (2020-04-28T07:37:01Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder [3.070321681886867]
  可変オートエンコーダ (VAE) を用いたGAN(Generative Adversarial Network) ジェネレータの非平衡GANの事前訓練 その結果,非バランスなGANは,学習の安定化,収束の高速化,画像品質の向上などにより,通常のGANよりも優れていた。
  論文  参考訳（メタデータ） (2020-02-06T06:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。