論文の概要: CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs

• arxiv url: http://arxiv.org/abs/2203.16521v1
• Date: Wed, 30 Mar 2022 17:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 15:42:57.627766
• Title: CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
• Title（参考訳）: CoordGAN: GANsの自己監督型Dense対応
• Authors: Jiteng Mu, Shalini De Mello, Zhiding Yu, Nuno Vasconcelos, Xiaolong Wang, Jan Kautz, Sifei Liu
• Abstract要約: 本稿では,各生成画像の高密度対応マップを学習する構造テクスチャ不整合GANであるCoordinate GAN(CoordGAN)を紹介する。 提案するジェネレータは,既存手法に比べて構造とテクスチャの絡み合いが良くなることを示す。
• 参考スコア（独自算出の注目度）: 129.51129173514502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances show that Generative Adversarial Networks (GANs) can synthesize images with smooth variations along semantically meaningful latent directions, such as pose, expression, layout, etc. While this indicates that GANs implicitly learn pixel-level correspondences across images, few studies explored how to extract them explicitly. In this work, we introduce Coordinate GAN (CoordGAN), a structure-texture disentangled GAN that learns a dense correspondence map for each generated image. We represent the correspondence maps of different images as warped coordinate frames transformed from a canonical coordinate frame, i.e., the correspondence map, which describes the structure (e.g., the shape of a face), is controlled via a transformation. Hence, finding correspondences boils down to locating the same coordinate in different correspondence maps. In CoordGAN, we sample a transformation to represent the structure of a synthesized instance, while an independent texture branch is responsible for rendering appearance details orthogonal to the structure. Our approach can also extract dense correspondence maps for real images by adding an encoder on top of the generator. We quantitatively demonstrate the quality of the learned dense correspondences through segmentation mask transfer on multiple datasets. We also show that the proposed generator achieves better structure and texture disentanglement compared to existing approaches. Project page: https://jitengmu.github.io/CoordGAN/
• Abstract（参考訳）: 近年の進歩により,GAN(Generative Adversarial Networks)は,ポーズ,表現,レイアウトなど,意味的に意味のある潜在方向に沿って,スムーズなバリエーションで画像を合成できることが示されている。 これはganが画像間でピクセルレベルの対応を暗黙的に学習することを示しているが、それらを明示的に抽出する方法を探究した研究はほとんどない。 本稿では,各生成画像の高密度対応マップを学習する構造テクスチャ不整合GANであるCoordinate GAN(CoordGAN)を紹介する。 我々は、異なる画像の対応マップを、標準座標フレームから変換された歪んだ座標フレーム、すなわち、その構造(例えば、顔の形状)を記述する対応マップとして表現し、変換を介して制御する。 したがって、対応を見つけることは、異なる対応写像で同じ座標を割り出すために沸騰する。 CoordGANでは、合成されたインスタンスの構造を表す変換をサンプリングし、独立したテクスチャブランチは構造に直交する外観の詳細を描画する。 また,生成器上にエンコーダを付加することにより,実画像の高密度対応マップを抽出できる。 複数のデータセット上でのセグメンテーションマスク転送により,学習した高密度通信の品質を定量的に示す。 また,提案したジェネレータは既存手法と比較して構造やテクスチャの絡み合いが良くなることを示す。 プロジェクトページ: https://jitengmu.github.io/CoordGAN/

関連論文リスト

• Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
  我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
  論文  参考訳（メタデータ） (2023-05-03T15:18:37Z)
• Extracting Semantic Knowledge from GANs with Unsupervised Learning [65.32631025780631]
  GAN(Generative Adversarial Networks)は、特徴写像のセマンティクスを線形に分離可能な形でエンコードする。 本稿では,線形分離性を利用してGANの特徴をクラスタリングする新しいクラスタリングアルゴリズムKLiSHを提案する。 KLiSHは、さまざまなオブジェクトのデータセットに基づいてトレーニングされたGANのきめ細かいセマンティクスの抽出に成功している。
  論文  参考訳（メタデータ） (2022-11-30T03:18:16Z)
• Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training [112.94542676251133]
  画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。 具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。 SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
  論文  参考訳（メタデータ） (2022-11-21T01:11:19Z)
• Generative Subgraph Contrast for Self-Supervised Graph Representation Learning [16.374143635724327]
  本稿では, 適応部分グラフ生成をベースとした, 効率的かつ堅牢な自己教師付きグラフ表現学習のためのコントラスト学習フレームワークを提案する。 本研究の目的は,グラフの内在的構造を捕捉し,サブグラフの特徴と構造に基づいてサンプルを同時に識別することで,対照的なサンプルを生成することである。
  論文  参考訳（メタデータ） (2022-07-25T09:08:46Z)
• Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
  Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。 提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-06-17T09:40:14Z)
• Linear Semantics in Generative Adversarial Networks [26.123252503846942]
  GANのセマンティック表現をよりよく理解し、GANの生成プロセスにおけるセマンティック制御を可能にすることを目指しています。 よく訓練されたGANは、イメージセマンティクスを驚くほどシンプルな方法で内部機能マップにエンコードします。 Semantic-Conditional SamplingとSemantic Image Editingという2つの画像編集手法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:18:48Z)
• The Geometry of Deep Generative Image Models and its Applications [0.0]
  generative adversarial networks (gans) は、実世界のデータセットの統計パターンをモデル化する強力な教師なし手法として登場した。 これらのネットワークは、潜在空間内のランダムな入力を学習データを表す新しいサンプルにマップするように訓練される。 潜在空間の構造は、その高い寸法性と発電機の非線形性のために内挿しが困難である。
  論文  参考訳（メタデータ） (2021-01-15T07:57:33Z)
• Structural-analogy from a Single Image Pair [118.61885732829117]
  本稿では,1対の画像A,Bのみを用いて,ニューラルネットワークによる画像構造理解能力について検討する。 我々は、B の外観とスタイルを保持するが、A に対応する構造的配置を持つ画像を生成する。 提案手法は,画像AとBのみを利用した条件生成タスクにおいて,高品質な画像を生成するために利用できる。
  論文  参考訳（メタデータ） (2020-04-05T14:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。