論文の概要: SMaRt: Improving GANs with Score Matching Regularity

• arxiv url: http://arxiv.org/abs/2311.18208v2
• Date: Thu, 8 Feb 2024 03:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 19:02:15.130790
• Title: SMaRt: Improving GANs with Score Matching Regularity
• Title（参考訳）: SMaRt: スコアマッチング規則によるGANの改善
• Authors: Mengfei Xia, Yujun Shen, Ceyuan Yang, Ran Yi, Wenping Wang, Yong-jin Liu
• Abstract要約: 生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
• 参考スコア（独自算出の注目度）: 94.81046452865583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs) usually struggle in learning from highly diverse data, whose underlying manifold is complex. In this work, we revisit the mathematical foundations of GANs, and theoretically reveal that the native adversarial loss for GAN training is insufficient to fix the problem of subsets with positive Lebesgue measure of the generated data manifold lying out of the real data manifold. Instead, we find that score matching serves as a promising solution to this issue thanks to its capability of persistently pushing the generated data points towards the real data manifold. We thereby propose to improve the optimization of GANs with score matching regularity (SMaRt). Regarding the empirical evidences, we first design a toy example to show that training GANs by the aid of a ground-truth score function can help reproduce the real data distribution more accurately, and then confirm that our approach can consistently boost the synthesis performance of various state-of-the-art GANs on real-world datasets with pre-trained diffusion models acting as the approximate score function. For instance, when training Aurora on the ImageNet 64x64 dataset, we manage to improve FID from 8.87 to 7.11, on par with the performance of one-step consistency model. The source code will be made public.
• Abstract（参考訳）: 生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 本研究では, GANの数学的基礎を再考し, GAN訓練におけるネイティブ逆数損失は実データ多様体から外れた生成データ多様体の正のルベーグ測度を持つ部分集合の問題を修正するには不十分であることを理論的に明らかにする。 むしろ、スコアマッチングは、生成したデータポイントを実際のデータ多様体に向けて持続的にプッシュする能力のおかげで、この問題に対する有望な解決策となる。 そこで我々は,スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。 実験的な証拠については,まず,実データ分布をより正確に再現できることを示し,その上で,近似スコア関数として機能する事前学習拡散モデルを用いて,実世界のデータセット上での各種最先端GANの合成性能を一貫して向上させることができることを示す。 例えば、ImageNet 64x64データセットでAuroraをトレーニングする場合、ワンステップ一貫性モデルのパフォーマンスと同等に、FIDを8.87から7.11に改善します。 ソースコードは公開される予定だ。

関連論文リスト

• First-Order Manifold Data Augmentation for Regression Learning [4.910937238451485]
  我々は、新しいデータ駆動型ドメイン非依存データ拡張法であるFOMAを紹介する。 分布内一般化と分布外ベンチマークに基づいてFOMAを評価し,いくつかのニューラルアーキテクチャの一般化を改善することを示す。
  論文  参考訳（メタデータ） (2024-06-16T12:35:05Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Class Balancing GAN with a Classifier in the Loop [58.29090045399214]
  本稿では,GANを学習するための理論的動機付けクラスバランス正則化器を提案する。 我々の正規化器は、訓練済みの分類器からの知識を利用して、データセット内のすべてのクラスのバランスの取れた学習を確実にします。 複数のデータセットにまたがる既存手法よりも優れた性能を達成し,長期分布の学習表現における正規化器の有用性を実証する。
  論文  参考訳（メタデータ） (2021-06-17T11:41:30Z)
• Linear Regression with Distributed Learning: A Generalization Error Perspective [0.0]
  大規模線形回帰のための分散学習の性能を検討する。 我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。 その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
  論文  参考訳（メタデータ） (2021-01-22T08:43:28Z)
• Improving Generative Adversarial Networks with Local Coordinate Coding [150.24880482480455]
  GAN(Generative Adversarial Network)は、事前定義された事前分布から現実的なデータを生成することに成功している。 実際には、意味情報はデータから学んだ潜在的な分布によって表現される。 ローカル座標符号化(LCC)を用いたLCCGANモデルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T09:17:50Z)
• Lessons Learned from the Training of GANs on Artificial Datasets [0.0]
  GAN(Generative Adversarial Networks)は,近年,現実的な画像の合成において大きな進歩を遂げている。 GANは不適合や過度に適合する傾向があり、分析が困難で制約を受ける。 無限に多くのサンプルがあり、実際のデータ分布は単純である人工データセットでトレーニングする。 GANのトレーニング混合物はネットワークの深さや幅を増大させるよりもパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-13T14:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。