論文の概要: A Closer Look at Few-shot Image Generation
- arxiv url: http://arxiv.org/abs/2205.03805v1
- Date: Sun, 8 May 2022 07:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 17:08:45.546895
- Title: A Closer Look at Few-shot Image Generation
- Title(参考訳): 少数ショット画像生成をよく見る
- Authors: Yunqing Zhao, Henghui Ding, Houjing Huang, Ngai-Man Cheung
- Abstract要約: 訓練済みのGANを小さなターゲットデータで転送する場合、ジェネレータはトレーニングサンプルを複製する傾向がある。
この数ショットの画像生成に対処するいくつかの方法が提案されているが、それらを統一されたフレームワークで分析する努力が不足している。
適応中に既存の手法を解析するためのフレームワークを提案する。
第2のコントリビューションは、ソースドメインのリッチなマルチレベル多様性情報をターゲットドメインジェネレータに保持するために、相互情報(MI)を適用することを提案する。
- 参考スコア(独自算出の注目度): 38.83570296616384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern GANs excel at generating high quality and diverse images. However,
when transferring the pretrained GANs on small target data (e.g., 10-shot), the
generator tends to replicate the training samples.
Several methods have been proposed to address this few-shot image generation
task, but there is a lack of effort to analyze them under a unified framework.
As our first contribution, we propose a framework to analyze existing methods
during the adaptation. Our analysis discovers that while some methods have
disproportionate focus on diversity preserving which impede quality
improvement, all methods achieve similar quality after convergence.
Therefore, the better methods are those that can slow down diversity
degradation. Furthermore, our analysis reveals that there is still plenty of
room to further slow down diversity degradation.
Informed by our analysis and to slow down the diversity degradation of the
target generator during adaptation, our second contribution proposes to apply
mutual information (MI) maximization to retain the source domain's rich
multi-level diversity information in the target domain generator.
We propose to perform MI maximization by contrastive loss (CL), leverage the
generator and discriminator as two feature encoders to extract different
multi-level features for computing CL. We refer to our method as Dual
Contrastive Learning (DCL).
Extensive experiments on several public datasets show that, while leading to
a slower diversity-degrading generator during adaptation, our proposed DCL
brings visually pleasant quality and state-of-the-art quantitative performance.
- Abstract(参考訳): 現代のGANは高品質で多様な画像を生成するのに優れています。
しかしながら、訓練済みのGANを小さなターゲットデータ(例:10ショット)で転送する場合、ジェネレータはトレーニングサンプルを複製する傾向がある。
この数少ない画像生成タスクに対処するために、いくつかの方法が提案されているが、それらを統一されたフレームワークで分析する努力が欠如している。
第1の貢献として,適応中の既存手法を解析するためのフレームワークを提案する。
分析の結果,品質改善を阻害する多様性維持に不釣り合いに焦点を合わせている手法もあるが,すべての手法が収束後に同様の品質が得られることがわかった。
したがって、より良い方法は多様性の低下を遅らせるものである。
さらに分析の結果,多様性の劣化をさらに遅らせる余地がまだたくさんあることが判明した。
提案する2つ目のコントリビューションは,適応中のターゲットジェネレータの多様性劣化を遅くするため,ソースドメインの豊富な多層多様性情報をターゲットドメインジェネレータに保持するために相互情報(MI)を最大化することを提案する。
比較損失(CL)によるMI最大化を行い、ジェネレータと識別器を2つの特徴エンコーダとして利用し、CLの異なるマルチレベル特徴を抽出する。
本手法をDCL(Dual Contrastive Learning)と呼ぶ。
いくつかの公開データセットに対する大規模な実験により、適応中に多様性劣化の発生が遅くなる一方で、提案したDCLは視覚的に快適な品質と最先端の定量的性能をもたらすことが示された。
関連論文リスト
- Few-Shot Image Generation by Conditional Relaxing Diffusion Inversion [37.18537753482751]
条件拡散緩和インバージョン(CRDI)は、合成画像生成における分布の多様性を高めるために設計されている。
CRDIはいくつかのサンプルに基づいた微調整を頼りにしていない。
ターゲットの画像インスタンスの再構築と、数ショットの学習による多様性の拡大に重点を置いている。
論文 参考訳(メタデータ) (2024-07-09T21:58:26Z) - GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳(メタデータ) (2024-02-03T03:13:50Z) - GE-AdvGAN: Improving the transferability of adversarial samples by
gradient editing-based adversarial generative model [69.71629949747884]
GAN(Generative Adversarial Networks)のような逆生成モデルは、様々な種類のデータを生成するために広く応用されている。
本研究では, GE-AdvGAN という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-01-11T16:43:16Z) - Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。
実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。
そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-21T08:12:28Z) - Few-shot Image Generation via Masked Discrimination [20.998032566820907]
少ないショット画像生成は、限られたデータで高品質で多彩な画像を生成することを目的としている。
現代のGANでは、ほんの数枚の画像で訓練された場合、過度な適合を避けることは困難である。
本研究は,マスク付き識別による少数ショットGAN適応を実現するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-27T06:02:22Z) - FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity
in Data-Efficient GANs [24.18718734850797]
Data-Efficient GAN(DE-GAN)は、限られたトレーニングデータで生成モデルを学習することを目的としている。
対照的な学習は、DE-GANの合成品質を高める大きな可能性を示している。
偽のサンプルに対してのみ対照的な学習を行うFakeCLRを提案する。
論文 参考訳(メタデータ) (2022-07-18T14:23:38Z) - Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。
我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。
ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
論文 参考訳(メタデータ) (2022-02-10T06:23:56Z) - One-Shot Generative Domain Adaptation [39.17324951275831]
本研究の目的は,GAN (Generative Adversarial Network) を1つの画像領域に事前トレーニングし,対象とする画像がわずかに少ない新しい領域に転送することである。
論文 参考訳(メタデータ) (2021-11-18T18:55:08Z) - InfoMax-GAN: Improved Adversarial Image Generation via Information
Maximization and Contrastive Learning [39.316605441868944]
GAN(Generative Adversarial Networks)は、多くのジェネレーティブモデリングアプリケーションの基本である。
本稿では,GANにおける2つの基本的な問題を同時に緩和する基本的枠組みを提案する。
提案手法は, 5つのデータセットにわたる画像合成において, GANトレーニングを著しく安定化し, GAN性能を向上させる。
論文 参考訳(メタデータ) (2020-07-09T06:56:11Z) - Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal
Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
個人再識別のための教師なし領域適応手法を提案する。
実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
論文 参考訳(メタデータ) (2020-01-14T17:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。