論文の概要: FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs

• arxiv url: http://arxiv.org/abs/2207.08630v2
• Date: Tue, 19 Jul 2022 01:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 11:11:10.218061
• Title: FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
• Title（参考訳）: FakeCLR:データ効率のよいGANで遅延不連続を解決するためのコントラスト学習
• Authors: Ziqiang Li, Chaoyue Wang, Heliang Zheng, Jing Zhang, Bin Li
• Abstract要約: Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。 対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。 偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
• 参考スコア（独自算出の注目度）: 24.18718734850797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Efficient GANs (DE-GANs), which aim to learn generative models with a limited amount of training data, encounter several challenges for generating high-quality samples. Since data augmentation strategies have largely alleviated the training instability, how to further improve the generative performance of DE-GANs becomes a hotspot. Recently, contrastive learning has shown the great potential of increasing the synthesis quality of DE-GANs, yet related principles are not well explored. In this paper, we revisit and compare different contrastive learning strategies in DE-GANs, and identify (i) the current bottleneck of generative performance is the discontinuity of latent space; (ii) compared to other contrastive learning strategies, Instance-perturbation works towards latent space continuity, which brings the major improvement to DE-GANs. Based on these observations, we propose FakeCLR, which only applies contrastive learning on perturbed fake samples, and devises three related training techniques: Noise-related Latent Augmentation, Diversity-aware Queue, and Forgetting Factor of Queue. Our experimental results manifest the new state of the arts on both few-shot generation and limited-data generation. On multiple datasets, FakeCLR acquires more than 15% FID improvement compared to existing DE-GANs. Code is available at https://github.com/iceli1007/FakeCLR.
• Abstract（参考訳）: データ効率のよいGAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としており、高品質なサンプルを生成する上でいくつかの課題に直面している。 データ強化戦略がトレーニング不安定を緩和しているため、DE-GANの生成性能をさらに向上する方法がホットスポットとなっている。 近年,D-GANの合成品質向上に大きな可能性を示しているが,関連する原理はよく研究されていない。 本稿では,de-gansにおける異なるコントラスト学習戦略を再検討し,比較し,同定する。 (i)現在、生成性能のボトルネックは、潜伏空間の不連続である。 (ii) 他の対照的な学習戦略と比較して, インスタンス摂動は潜在空間連続性に向けられ, デガンに大きな改善をもたらす。 これらの観察に基づいて,摂動した偽サンプルの対比学習のみを適用し,ノイズ関連潜在性拡張,多様性対応キュー,待ち行列の欠落要因という3つの関連するトレーニング手法を考案したfakeclrを提案する。 実験結果から,少数ショット生成と限定データ生成の両面でのアートの新たな状態が明らかとなった。 複数のデータセットで、FakeCLRは既存のDE-GANと比較して15%以上のFID改善を達成している。 コードはhttps://github.com/iceli1007/FakeCLRで入手できる。

関連論文リスト

• Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [37.54523122932728]
  大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。 データ多様性の低い問題に対処するため、私たちのパイプラインは知識グラフ(KG)を使用してエンティティや量を取り出す。 高いデータノイズに対処するため、GCSEモデルは偽硬陰性サンプルの影響を制限するためにガウス分解関数を使用する。
  論文  参考訳（メタデータ） (2024-09-19T16:29:58Z)
• Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models [38.36200871549062]
  Zero-Shot Learning (ZSL) は、クラスレベルでのデータ効率を向上させることで、分類器が見えないクラスを識別できるようにすることを目的としている。 これは、未確認クラスの事前に定義されたセマンティクスから画像特徴を生成することで実現される。 本稿では,限られた例が一般的に生成モデルの性能低下をもたらすことを示す。 この統合されたフレームワークは拡散モデルを導入し、クラスレベルとインスタンスレベルのデータ効率を改善する。
  論文  参考訳（メタデータ） (2024-06-05T04:37:06Z)
• Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
  本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。 本稿では,ロバスト連続学習(RCL)手法を提案する。 提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T11:21:26Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
  本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。 正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
  論文  参考訳（メタデータ） (2021-04-07T17:59:06Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。