論文の概要: PetsGAN: Rethinking Priors for Single Image Generation
- arxiv url: http://arxiv.org/abs/2203.01488v1
- Date: Thu, 3 Mar 2022 02:31:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 15:29:17.058606
- Title: PetsGAN: Rethinking Priors for Single Image Generation
- Title（参考訳）: PetsGAN: 単一画像生成の優先事項を再考
- Authors: Zicheng Zhang, Yinglu Liu, Congying Han, Hailin Shi, Tiande Guo, Bowen
Zhou
- Abstract要約: SinGANは、単一のイメージの内部パッチ分布を徐々に学習するために、GANのピラミッドを構築する。
高レベルの情報がないため、SinGANはオブジェクトイメージをうまく扱えない。
本手法は,時間を要するプログレッシブトレーニングスキームを排除し,エンドツーエンドでトレーニングすることができる。
- 参考スコア（独自算出の注目度）: 29.213169685303495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single image generation (SIG), described as generating diverse samples that
have similar visual content with the given single image, is first introduced by
SinGAN which builds a pyramid of GANs to progressively learn the internal patch
distribution of the single image. It also shows great potentials in a wide
range of image manipulation tasks. However, the paradigm of SinGAN has
limitations in terms of generation quality and training time. Firstly, due to
the lack of high-level information, SinGAN cannot handle the object images well
as it does on the scene and texture images. Secondly, the separate progressive
training scheme is time-consuming and easy to cause artifact accumulation. To
tackle these problems, in this paper, we dig into the SIG problem and improve
SinGAN by fully-utilization of internal and external priors. The main
contributions of this paper include: 1) We introduce to SIG a regularized
latent variable model. To the best of our knowledge, it is the first time to
give a clear formulation and optimization goal of SIG, and all the existing
methods for SIG can be regarded as special cases of this model. 2) We design a
novel Prior-based end-to-end training GAN (PetsGAN) to overcome the problems of
SinGAN. Our method gets rid of the time-consuming progressive training scheme
and can be trained end-to-end. 3) We construct abundant qualitative and
quantitative experiments to show the superiority of our method on both
generated image quality, diversity, and the training speed. Moreover, we apply
our method to other image manipulation tasks (e.g., style transfer,
harmonization), and the results further prove the effectiveness and efficiency
of our method.
- Abstract（参考訳）: 単一画像生成(SIG)は、与えられた単一画像と類似した視覚的内容を持つ多様なサンプルを生成すると説明され、まず、単一の画像の内部パッチ分布を段階的に学習するために、GANのピラミッドを構築するSinGANによって導入された。
また、幅広い画像操作タスクにおいて大きな可能性を秘めている。
しかし、シンタンのパラダイムは、世代品質と訓練時間に関して制限がある。
第一に、高レベルの情報がないため、SinGANはシーンやテクスチャ画像のようにオブジェクトイメージを扱えない。
第2に,個別のプログレッシブトレーニングスキームは時間を要するため,アーティファクトの蓄積が容易である。
本稿では、これらの問題に対処するため、SIG問題を掘り下げ、内部および外部の事前の完全活用によりSinGANを改善する。
本論文の主な貢献は次のとおりである。
1) 正規化潜在変数モデルをSIGに導入する。
我々の知る限りでは、SIGの明確な定式化と最適化の目標を与えるのはこれが初めてであり、既存のSIGのメソッドは全て、このモデルの特別なケースとみなすことができる。
2) SinGAN の課題を克服するために, 先進的なエンドツーエンドトレーニング GAN (PetsGAN) を設計する。
本手法は時間を要するプログレッシブトレーニングスキームを排除し,エンドツーエンドでトレーニングすることができる。
3) 画像品質, 多様性, トレーニング速度の両面において, 本手法の優位性を示すために, 定性的かつ定量的な実験を多数構築する。
さらに,本手法を他の画像操作タスク(例えば,スタイル転送,調和化)に適用し,提案手法の有効性と有効性を示す。
関連論文リスト
- TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual
Vision Transformer for Fast Arbitrary One-Shot Image Generation [11.207512995742999]
画像の内部パッチから学習する生成的敵ネットワークを持つワンショット画像生成(OSG)は、世界中で注目を集めている。
本稿では,既存のワンショット画像生成手法の欠点を克服するために,個々の視覚変換器を用いた構造保存方式TcGANを提案する。
論文 参考訳（メタデータ） (2023-02-16T03:05:59Z) - A Survey on Leveraging Pre-trained Generative Adversarial Networks for
Image Editing and Restoration [72.17890189820665]
GAN(Generative Adversarial Network)は、単純だが効果的なトレーニング機構と優れた画像生成品質により、大きな注目を集めている。
近年のGANモデルは生成した画像と実際の画像とのギャップを大幅に狭めている。
近年の多くの研究は、未学習のGANモデルと学習されたGAN先行空間を生かして、事前学習されたGANモデルを活用することへの関心が高まっている。
論文 参考訳（メタデータ） (2022-07-21T05:05:58Z) - FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。
FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。
大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
論文 参考訳（メタデータ） (2022-07-18T07:11:28Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳（メタデータ） (2021-12-08T21:39:00Z) - ExSinGAN: Learning an Explainable Generative Model from a Single Image [0.0]
構造,意味,テクスチャに関する分布を連続的に学習することで,複雑な条件分布の学習を簡略化する階層的フレームワークを提案する。
画像から説明可能な生成モデルを学ぶために, 3つのカスケードganからなるexsinganを設計する。
ExSinGANは、前述のように画像の内部パッチからだけでなく、GANインバージョン技術によって得られた外部の先行データからも学習される。
論文 参考訳（メタデータ） (2021-05-16T04:38:46Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。
我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。
IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
論文 参考訳（メタデータ） (2021-04-13T02:00:24Z) - Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then
Training It Toughly [114.81028176850404]
限られたデータでGAN(generative adversarial network)を訓練すると、一般的に性能が低下し、モデルが崩壊する。
データハングリーGANトレーニングを2つのシーケンシャルサブプロブレムに分解する。
このような協調フレームワークにより、より低い複雑さとよりデータ効率のよいサブ問題に集中することができます。
論文 参考訳（メタデータ） (2021-02-28T05:20:29Z) - Blind Motion Deblurring through SinGAN Architecture [21.104218472462907]
ブラインド・モーション・デブロワーリングは、ぼやけた観察から鋭いイメージを再構成する。
SinGANは無条件の生成モデルであり、単一の自然な画像から学習することができる。
論文 参考訳（メタデータ） (2020-11-07T06:09:16Z) - InfoMax-GAN: Improved Adversarial Image Generation via Information
Maximization and Contrastive Learning [39.316605441868944]
GAN(Generative Adversarial Networks)は、多くのジェネレーティブモデリングアプリケーションの基本である。
本稿では,GANにおける2つの基本的な問題を同時に緩和する基本的枠組みを提案する。
提案手法は, 5つのデータセットにわたる画像合成において, GANトレーニングを著しく安定化し, GAN性能を向上させる。
論文 参考訳（メタデータ） (2020-07-09T06:56:11Z) - Training End-to-end Single Image Generators without GANs [27.393821783237186]
AugurOneは、単一画像生成モデルをトレーニングするための新しいアプローチである。
提案手法は,入力画像の非アフィン強化を用いて,アップスケーリングニューラルネットワークを訓練する。
制御画像合成が可能なコンパクト潜在空間を共同で学習する。
論文 参考訳（メタデータ） (2020-04-07T17:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。