論文の概要: FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity
in Data-Efficient GANs
- arxiv url: http://arxiv.org/abs/2207.08630v2
- Date: Tue, 19 Jul 2022 01:55:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 11:11:10.218061
- Title: FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity
in Data-Efficient GANs
- Title(参考訳): FakeCLR:データ効率のよいGANで遅延不連続を解決するためのコントラスト学習
- Authors: Ziqiang Li, Chaoyue Wang, Heliang Zheng, Jing Zhang, Bin Li
- Abstract要約: Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。
対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。
偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
- 参考スコア(独自算出の注目度): 24.18718734850797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-Efficient GANs (DE-GANs), which aim to learn generative models with a
limited amount of training data, encounter several challenges for generating
high-quality samples. Since data augmentation strategies have largely
alleviated the training instability, how to further improve the generative
performance of DE-GANs becomes a hotspot. Recently, contrastive learning has
shown the great potential of increasing the synthesis quality of DE-GANs, yet
related principles are not well explored. In this paper, we revisit and compare
different contrastive learning strategies in DE-GANs, and identify (i) the
current bottleneck of generative performance is the discontinuity of latent
space; (ii) compared to other contrastive learning strategies,
Instance-perturbation works towards latent space continuity, which brings the
major improvement to DE-GANs. Based on these observations, we propose FakeCLR,
which only applies contrastive learning on perturbed fake samples, and devises
three related training techniques: Noise-related Latent Augmentation,
Diversity-aware Queue, and Forgetting Factor of Queue. Our experimental results
manifest the new state of the arts on both few-shot generation and limited-data
generation. On multiple datasets, FakeCLR acquires more than 15% FID
improvement compared to existing DE-GANs. Code is available at
https://github.com/iceli1007/FakeCLR.
- Abstract(参考訳): データ効率のよいGAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としており、高品質なサンプルを生成する上でいくつかの課題に直面している。
データ強化戦略がトレーニング不安定を緩和しているため、DE-GANの生成性能をさらに向上する方法がホットスポットとなっている。
近年,D-GANの合成品質向上に大きな可能性を示しているが,関連する原理はよく研究されていない。
本稿では,de-gansにおける異なるコントラスト学習戦略を再検討し,比較し,同定する。
(i)現在、生成性能のボトルネックは、潜伏空間の不連続である。
(ii) 他の対照的な学習戦略と比較して, インスタンス摂動は潜在空間連続性に向けられ, デガンに大きな改善をもたらす。
これらの観察に基づいて,摂動した偽サンプルの対比学習のみを適用し,ノイズ関連潜在性拡張,多様性対応キュー,待ち行列の欠落要因という3つの関連するトレーニング手法を考案したfakeclrを提案する。
実験結果から,少数ショット生成と限定データ生成の両面でのアートの新たな状態が明らかとなった。
複数のデータセットで、FakeCLRは既存のDE-GANと比較して15%以上のFID改善を達成している。
コードはhttps://github.com/iceli1007/FakeCLRで入手できる。
関連論文リスト
- Taming the Tail in Class-Conditional GANs: Knowledge Sharing via
Unconditional Training at Lower Resolutions [11.743850818162086]
GANはより多くのサンプルを持つクラスを好む傾向があり、尾クラスの低品質で多様性の低いサンプルが生成される。
そこで我々は,より豊富な学習データを持つクラスから,テールクラスが豊富な情報から借用できる,知識共有の単純かつ効果的な方法を提案する。
いくつかのロングテールベンチマークとGANアーキテクチャの実験は、生成された画像の多様性と忠実さの両方において、既存の手法よりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2024-02-26T23:03:00Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。
本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。
提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
論文 参考訳(メタデータ) (2023-05-24T07:59:44Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳(メタデータ) (2023-04-29T00:25:02Z) - Augmentation-Aware Self-Supervision for Data-Efficient GAN Training [68.81471633374393]
識別器が過度に適合する傾向があるため、限られたデータでGANを訓練することは困難である。
本稿では,拡張データの拡張パラメータを予測する,拡張型自己教師型識別器を提案する。
本稿では,クラス条件の BigGAN と非条件の StyleGAN2 アーキテクチャを用いた State-of-the-art (SOTA) 手法と比較する。
論文 参考訳(メタデータ) (2022-05-31T10:35:55Z) - A Closer Look at Few-shot Image Generation [38.83570296616384]
訓練済みのGANを小さなターゲットデータで転送する場合、ジェネレータはトレーニングサンプルを複製する傾向がある。
この数ショットの画像生成に対処するいくつかの方法が提案されているが、それらを統一されたフレームワークで分析する努力が不足している。
適応中に既存の手法を解析するためのフレームワークを提案する。
第2のコントリビューションは、ソースドメインのリッチなマルチレベル多様性情報をターゲットドメインジェネレータに保持するために、相互情報(MI)を適用することを提案する。
論文 参考訳(メタデータ) (2022-05-08T07:46:26Z) - CoReD: Generalizing Fake Media Detection with Continual Representation
using Distillation [17.97648576135166]
本研究では、継続学習(CoL)、表現学習(ReL)、知識蒸留(KD)という概念を用いた継続表現法を提案する。
我々はCoReDを設計し、新しいディープフェイクおよびGAN生成合成顔データセット上で逐次ドメイン適応タスクを実行する。
提案手法は,低品質のディープフェイク映像やGAN生成画像の検出に有効であることを示す。
論文 参考訳(メタデータ) (2021-07-06T06:07:17Z) - Regularizing Generative Adversarial Networks under Limited Data [88.57330330305535]
本研究は、限られたデータ上で堅牢なGANモデルをトレーニングするための正規化手法を提案する。
正規化損失とLeCam-divergenceと呼ばれるf-divergenceの関連性を示す。
論文 参考訳(メタデータ) (2021-04-07T17:59:06Z) - Feature Quantization Improves GAN Training [126.02828112121874]
識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。
本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
論文 参考訳(メタデータ) (2020-04-05T04:06:50Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。