論文の概要: Nested Annealed Training Scheme for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2501.11318v1
• Date: Mon, 20 Jan 2025 07:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:26.764227
• Title: Nested Annealed Training Scheme for Generative Adversarial Networks
• Title（参考訳）: ジェネレーティブ・アドバイザリ・ネットワークのためのネステッド・アニールド・トレーニング・スキーム
• Authors: Chang Wan, Ming-Hsuan Yang, Minglu Li, Yunliang Jiang, Zhonglong Zheng,
• Abstract要約: 本稿では、厳密な数学的理論的枠組みである複合機能段階GAN(CFG)に焦点を当てる。 CFGモデルとスコアベースモデルとの理論的関係を明らかにする。 CFG判別器の学習目的は最適D(x)を求めることと等価であることがわかった。
• 参考スコア（独自算出の注目度）: 54.70743279423088
• License:
• Abstract: Recently, researchers have proposed many deep generative models, including generative adversarial networks(GANs) and denoising diffusion models. Although significant breakthroughs have been made and empirical success has been achieved with the GAN, its mathematical underpinnings remain relatively unknown. This paper focuses on a rigorous mathematical theoretical framework: the composite-functional-gradient GAN (CFG)[1]. Specifically, we reveal the theoretical connection between the CFG model and score-based models. We find that the training objective of the CFG discriminator is equivalent to finding an optimal D(x). The optimal gradient of D(x) differentiates the integral of the differences between the score functions of real and synthesized samples. Conversely, training the CFG generator involves finding an optimal G(x) that minimizes this difference. In this paper, we aim to derive an annealed weight preceding the weight of the CFG discriminator. This new explicit theoretical explanation model is called the annealed CFG method. To overcome the limitation of the annealed CFG method, as the method is not readily applicable to the SOTA GAN model, we propose a nested annealed training scheme (NATS). This scheme keeps the annealed weight from the CFG method and can be seamlessly adapted to various GAN models, no matter their structural, loss, or regularization differences. We conduct thorough experimental evaluations on various benchmark datasets for image generation. The results show that our annealed CFG and NATS methods significantly improve the quality and diversity of the synthesized samples. This improvement is clear when comparing the CFG method and the SOTA GAN models.
• Abstract（参考訳）: 近年,GAN(Generative Adversarial Network)やデノナイズ拡散モデルなど,多くの深層生成モデルが提案されている。 GANで大きなブレークスルーが行われ、実証的な成功が達成されているが、その数学的基盤はいまだに分かっていない。 本稿では,厳密な数学的理論的枠組みである複合機能段階GAN(CFG)[1]に焦点を当てる。 具体的には,CFGモデルとスコアベースモデルとの理論的関係を明らかにする。 CFG判別器の学習目的は最適D(x)を求めることと等価である。 D(x) の最適勾配は、実および合成標本のスコア関数の違いの積分を区別する。 逆に、CFGジェネレータのトレーニングには、この差を最小限に抑える最適なG(x)を見つけることが含まれる。 本稿では,CFG判別器の重量に先行する焼鈍重量を導出することを目的とする。 この新たな明示的な理論的説明モデルは、アニール化CFG法(英語版)と呼ばれる。 本手法はSOTA GANモデルでは容易に適用できないため, 焼鈍CFG法の限界を克服するため, ネスト型焼鈍トレーニングスキーム (NATS) を提案する。 このスキームは、熱処理した重量をCFG法から保持し、構造、損失、正規化の違いにかかわらず、様々なGANモデルにシームレスに適合させることができる。 画像生成のための様々なベンチマークデータセットについて、徹底的な実験的評価を行う。 その結果, CFG法とNATS法は, 合成試料の品質と多様性を著しく向上させることがわかった。 この改善はCFG法とSOTA GANモデルを比較する際に明らかである。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Diversity-Rewarded CFG Distillation [62.08448835625036]
  そこで本研究では,CFGの限界に対処しつつ,CFGの強度を蒸留する新しい微調整法であるCFG蒸留を導入する。 提案手法は,(1)蒸留目標,(CFGを使わずに)モデルのみにCFG拡張予測を模倣するよう促すこと,(2)多様性報酬を付与したRL目標,および与えられたプロンプトに対する多様な出力の生成を促進すること,の2つの訓練目標を最適化する。
  論文  参考訳（メタデータ） (2024-10-08T14:40:51Z)
• Eliminating Oversaturation and Artifacts of High Guidance Scales in Diffusion Models [27.640009920058187]
  CFG更新ルールを再検討し、この問題に対処するための修正を導入する。 過飽和を伴わない高品質な世代を実現するために並列成分の低重み付けを提案する。 また、この知見に基づいて、CFG更新ルールに対する新しい再スケーリングモーメント手法も導入する。
  論文  参考訳（メタデータ） (2024-10-03T12:06:29Z)
• Adaptive Guidance: Training-free Acceleration of Conditional Diffusion Models [44.58960475893552]
  適応誘導 (AG) は計算自由誘導 (CFG) の効率的な変種である AGはCFGの画質を25%低下させながら保存する。 LinearAG" はベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
  論文  参考訳（メタデータ） (2023-12-19T17:08:48Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Toward Discretization-Consistent Closure Schemes for Large Eddy Simulation Using Reinforcement Learning [0.0]
  本研究では,大渦シミュレーション(LES)のための離散化整合閉包法の開発手法を提案する。 LES閉鎖モデルの係数を適応させるタスクはマルコフ決定プロセスとしてフレーム化され、強化学習(RL)を用いて後続的に解決される。 新たに派生したすべてのモデルは、異なる離散化と解像度のために従来のモデルにマッチするか、より優れる正確な結果を得る。
  論文  参考訳（メタデータ） (2023-09-12T14:20:12Z)
• An Evaluation Study of Generative Adversarial Networks for Collaborative Filtering [75.83628561622287]
  本研究は、原論文で発表された結果の再現に成功し、CFGANフレームワークと原評価で使用されるモデルとの相違が与える影響について論じる。 この研究は、CFGANと単純でよく知られた適切に最適化されたベースラインの選択を比較した実験的な分析をさらに拡張し、CFGANは高い計算コストにもかかわらず、それらに対して一貫して競合していないことを観察した。
  論文  参考訳（メタデータ） (2022-01-05T20:53:27Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training [16.83036203524611]
  本稿では、ニューラルネットワークトレーニングのための自然勾配およびヘッセンフリー(NGHF)最適化フレームワークを提案する。 これは、自然勾配(ng)法とヘッセンフリー(hf)や他の二次法からの局所曲率情報を組み合わせた線形共役勾配(cg)アルゴリズムに依存している。 さまざまな音響モデルタイプのマルチジャンル放送データセットで実験が報告されています。
  論文  参考訳（メタデータ） (2021-03-12T22:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。