論文の概要: MS$^3$D: A RG Flow-Based Regularization for GAN Training with Limited Data

• arxiv url: http://arxiv.org/abs/2408.11135v1
• Date: Tue, 20 Aug 2024 18:37:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 21:16:53.897313
• Title: MS$^3$D: A RG Flow-Based Regularization for GAN Training with Limited Data
• Title（参考訳）: MS$^3$D:限られたデータを用いたGANトレーニングのためのRGフローベース正規化
• Authors: Jian Wang, Xin Lan, Yuxin Tian, Jiancheng Lv,
• Abstract要約: 物理における再正規化群(RG)の考え方に基づく新しい正規化法を提案する。 本手法は,限られたデータシナリオ下でのGANの性能と安定性を効果的に向上できることを示す。
• 参考スコア（独自算出の注目度）: 16.574346252357653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative adversarial networks (GANs) have made impressive advances in image generation, but they often require large-scale training data to avoid degradation caused by discriminator overfitting. To tackle this issue, we investigate the challenge of training GANs with limited data, and propose a novel regularization method based on the idea of renormalization group (RG) in physics.We observe that in the limited data setting, the gradient pattern that the generator obtains from the discriminator becomes more aggregated over time. In RG context, this aggregated pattern exhibits a high discrepancy from its coarse-grained versions, which implies a high-capacity and sensitive system, prone to overfitting and collapse. To address this problem, we introduce a \textbf{m}ulti-\textbf{s}cale \textbf{s}tructural \textbf{s}elf-\textbf{d}issimilarity (MS$^3$D) regularization, which constrains the gradient field to have a consistent pattern across different scales, thereby fostering a more redundant and robust system. We show that our method can effectively enhance the performance and stability of GANs under limited data scenarios, and even allow them to generate high-quality images with very few data.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は画像生成において顕著な進歩を遂げてきたが、識別器過適合による劣化を避けるために大規模なトレーニングデータを必要とすることが多い。 そこで本研究では,物理における再正規化グループ(RG)の考え方に基づく新たな正規化手法を提案するとともに,この制約データ設定において,生成元が識別器から取得した勾配パターンが時間とともにより集約化されることを観察する。 RGの文脈では、この集約されたパターンは粗い粒度のバージョンと高い差を示しており、これは高容量で敏感なシステムであり、過度に適合し、崩壊する傾向があることを意味する。 この問題に対処するために、勾配場が異なるスケールで一貫したパターンを持つことを制限し、より冗長でロバストなシステムを育むことを目的とした、 \textbf{m}ulti-\textbf{s}cale \textbf{s}tructural \textbf{s}elf-\textbf{d}issimilarity (MS$^3$D) を導入する。 本手法は, 限られたデータシナリオ下でのGANの性能と安定性を効果的に向上し, 極めて少ないデータで高品質な画像を生成することができることを示す。

関連論文リスト

• ChronoGAN: Supervised and Embedded Generative Adversarial Networks for Time Series Generation [0.9374652839580181]
  これらの問題を効果的に解決し緩和することを目的とした堅牢なフレームワークを導入します。 このフレームワークは、Autoencoderの生成した埋め込み空間の利点と、GANの対角的トレーニングダイナミクスを統合する。 我々は、安定度を高め、短命連続と短命連続の両方で効果的な一般化を保証するために、初期生成アルゴリズムと改良されたニューラルネットワークアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2024-09-21T04:51:35Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• BFRFormer: Transformer-based generator for Real-World Blind Face Restoration [37.77996097891398]
  本稿では,トランスフォーマーをベースとしたブラインドフェイス復元手法BFRFormerを提案する。 提案手法は, 合成データセットと実世界の4つのデータセットにおいて, 最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-02-29T02:31:54Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset [1.8634083978855898]
  LFMと呼ばれるGANの付加的な構造と損失関数を提案し、潜在空間の異なる次元間の特徴の多様性を最大化するよう訓練した。 実験では、このシステムはDCGAN上に構築されており、CelebAデータセットのスクラッチからFrechet Inception Distance(FID)トレーニングを改善することが証明されている。
  論文  参考訳（メタデータ） (2022-10-28T16:34:48Z)
• Towards Generating Real-World Time Series Data [52.51620668470388]
  時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。 RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。 不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
  論文  参考訳（メタデータ） (2021-11-16T11:31:37Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。