論文の概要: GH-Feat: Learning Versatile Generative Hierarchical Features from GANs
- arxiv url: http://arxiv.org/abs/2301.05315v1
- Date: Thu, 12 Jan 2023 21:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 14:45:42.076559
- Title: GH-Feat: Learning Versatile Generative Hierarchical Features from GANs
- Title（参考訳）: GH-Feat: GANからVersatile Generative Hierarchical Featuresを学ぶ
- Authors: Yinghao Xu, Yujun Shen, Jiapeng Zhu, Ceyuan Yang, and Bolei Zhou
- Abstract要約: 画像合成から学習した生成機能は、幅広いコンピュータビジョンタスクを解く上で大きな可能性を秘めていることを示す。
まず,事前学習したStyleGANジェネレータを学習損失関数として考慮し,エンコーダを訓練する。
GH-Feat(Generative Hierarchical Features)と呼ばれるエンコーダが生成する視覚的特徴は、階層的なGAN表現と高度に一致している。
- 参考スコア（独自算出の注目度）: 61.208757845344074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years witness the tremendous success of generative adversarial
networks (GANs) in synthesizing photo-realistic images. GAN generator learns to
compose realistic images and reproduce the real data distribution. Through
that, a hierarchical visual feature with multi-level semantics spontaneously
emerges. In this work we investigate that such a generative feature learned
from image synthesis exhibits great potentials in solving a wide range of
computer vision tasks, including both generative ones and more importantly
discriminative ones. We first train an encoder by considering the pretrained
StyleGAN generator as a learned loss function. The visual features produced by
our encoder, termed as Generative Hierarchical Features (GH-Feat), highly align
with the layer-wise GAN representations, and hence describe the input image
adequately from the reconstruction perspective. Extensive experiments support
the versatile transferability of GH-Feat across a range of applications, such
as image editing, image processing, image harmonization, face verification,
landmark detection, layout prediction, image retrieval, etc. We further show
that, through a proper spatial expansion, our developed GH-Feat can also
facilitate fine-grained semantic segmentation using only a few annotations.
Both qualitative and quantitative results demonstrate the appealing performance
of GH-Feat.
- Abstract（参考訳）: 近年では、画像合成におけるgans(generative adversarial networks)が大きな成功を収めている。
GANジェネレータは、リアルな画像を作成し、実際のデータ分布を再現することを学ぶ。
これにより、多レベルセマンティクスを持つ階層的な視覚的特徴が自然に現れる。
本研究では,画像合成から得られた生成的特徴が,生成的課題とより重要な識別的課題の両方を含む,幅広いコンピュータビジョン課題を解決する上で大きな可能性を秘めていることを示す。
まず,事前学習したStyleGANジェネレータを学習損失関数として考慮し,エンコーダを訓練する。
GH-Feat(Generative Hierarchical Features)と呼ばれるエンコーダが生成する視覚的特徴は,階層的GAN表現と高度に整合し,再構成の観点から入力画像を適切に記述する。
大規模な実験は、画像編集、画像処理、画像調和化、顔認証、ランドマーク検出、レイアウト予測、画像検索など、さまざまなアプリケーションにわたるGH-Featの多目的転送性をサポートする。
さらに, 適切な空間展開により, 開発したgh-featは, わずか数個のアノテーションを用いて, 細粒度のセマンティクスセグメンテーションも容易に行えることを示した。
定性的および定量的な結果はGH-Featの魅力を示す。
関連論文リスト
- Rethinking the Up-Sampling Operations in CNN-based Generative Network
for Generalizable Deepfake Detection [86.97062579515833]
我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。
tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。
この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
論文 参考訳（メタデータ） (2023-12-16T14:27:06Z) - In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳（メタデータ） (2023-09-25T08:42:06Z) - Distilling Representations from GAN Generator via Squeeze and Span [55.76208869775715]
本稿では,GANジェネレータから知識を抽出し,その表現を抽出する手法を提案する。
我々は,合成ドメインの蒸留された表現を実領域に分散し,実際のトレーニングデータを用いてGANのモード崩壊を緩和する。
論文 参考訳（メタデータ） (2022-11-06T01:10:28Z) - Joint Learning of Deep Texture and High-Frequency Features for
Computer-Generated Image Detection [24.098604827919203]
本稿では,CG画像検出のための深いテクスチャと高周波特徴を有する共同学習戦略を提案する。
セマンティックセグメンテーションマップを生成して、アフィン変換操作を誘導する。
原画像と原画像の高周波成分の組み合わせを、注意機構を備えたマルチブランチニューラルネットワークに供給する。
論文 参考訳（メタデータ） (2022-09-07T17:30:40Z) - A Method for Evaluating Deep Generative Models of Images via Assessing
the Reproduction of High-order Spatial Context [9.00018232117916]
GAN(Generative Adversarial Network)は、広く使われているDGMの一種である。
本稿では,2つのGANアーキテクチャによって出力される画像の客観的なテストについて述べる。
我々は、訓練されたGANによって生成した画像の特徴を再現できるいくつかのコンテキストモデル(SCM)を設計した。
論文 参考訳（メタデータ） (2021-11-24T15:58:10Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z) - Detection, Attribution and Localization of GAN Generated Images [24.430919035100317]
本稿では,GAN生成画像の検出,属性化,ローカライズを行う新しい手法を提案する。
深層学習ネットワークはこれらの特徴に基づいてトレーニングされ、これらのGAN生成/操作された画像を検出し、属性付けし、ローカライズする。
5つのGANデータセットに対するアプローチを大規模に評価した結果,GAN生成画像の検出には有望な結果が得られた。
論文 参考訳（メタデータ） (2020-07-20T20:49:34Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳（メタデータ） (2020-07-20T18:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。