論文の概要: LatentKeypointGAN: Controlling GANs via Latent Keypoints
- arxiv url: http://arxiv.org/abs/2103.15812v1
- Date: Mon, 29 Mar 2021 17:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 16:49:04.642050
- Title: LatentKeypointGAN: Controlling GANs via Latent Keypoints
- Title(参考訳): LatentKeypointGAN: Latent KeypointsによるGAN制御
- Authors: Xingzhe He, Bastian Wandt, Helge Rhodin
- Abstract要約: LatentKeypointGANは、古典的なGAN目標に基づいてエンドツーエンドでトレーニングされた2段階のGANです。
さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法論が実現される。
- 参考スコア(独自算出の注目度): 16.900404701997502
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Generative adversarial networks (GANs) have attained photo-realistic quality.
However, it remains an open challenge of how to best control the image content.
We introduce LatentKeypointGAN, a two-stage GAN that is trained end-to-end on
the classical GAN objective yet internally conditioned on a set of sparse
keypoints with associated appearance embeddings that respectively control the
position and style of the generated objects and their parts. A major difficulty
that we address with suitable network architectures and training schemes is
disentangling the image into spatial and appearance factors without any
supervision signals of either nor domain knowledge. We demonstrate that
LatentKeypointGAN provides an interpretable latent space that can be used to
re-arrange the generated images by re-positioning and exchanging keypoint
embeddings, such as combining the eyes, nose, and mouth from different images
for generating portraits. In addition, the explicit generation of keypoints and
matching images enables a new, GAN-based methodology for unsupervised keypoint
detection.
- Abstract(参考訳): generative adversarial networks (gans) はフォトリアリスティックな品質を達成している。
しかし、画像コンテンツのベストコントロールについては、まだ未解決の課題である。
この2段階のGANは、古典的なGANの目的に基づいてエンドツーエンドに訓練されるが、各オブジェクトとその部分の位置とスタイルをそれぞれ制御する、関連した外観埋め込みを持つスパースキーポイントのセットで内部的に条件付けされている。
適切なネットワークアーキテクチャとトレーニングスキームに対処する大きな難しさは、イメージを空間的および外観的要素に切り離すことであり、ドメイン知識の監視信号や知識は不要である。
latentkeypointganは、異なる画像から目、鼻、口を組み合わせてポートレートを生成するようなキーポイント埋め込みを再配置し交換することで、生成された画像の再配置に使用できる解釈可能な潜在空間を提供する。
さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法論が実現される。
関連論文リスト
- In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Drag Your GAN: Interactive Point-based Manipulation on the Generative
Image Manifold [75.26840525430092]
DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である
DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。
定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
論文 参考訳(メタデータ) (2023-05-18T13:41:25Z) - LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended
Abstract [16.5436159805682]
キーポイントのセットと関連する外観埋め込みを条件とした2段階のGANであるLatntKeypointGANを紹介する。
LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
論文 参考訳(メタデータ) (2022-05-06T19:00:07Z) - Probabilistic Spatial Distribution Prior Based Attentional Keypoints
Matching Network [19.708243062836104]
キーポイントマッチングは、画像ステッチ、視覚的同時ローカライゼーション、マッピングなど、多くの画像関連アプリケーションにとって重要なコンポーネントである。
本稿では、IMU統合による動き推定を用いて、画像間のキーポイントの前の空間分布を推定できることを実証する。
本稿では,提案したキーポイントマッチングネットワークに対して,マッチングと未マッチングのキーポイント間のスムーズなエッジを与えるプロジェクションロスを提案する。
論文 参考訳(メタデータ) (2021-11-17T09:52:03Z) - Weakly Supervised Keypoint Discovery [27.750244813890262]
画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。
本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。
本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-28T01:26:53Z) - End-to-End Learning of Keypoint Representations for Continuous Control
from Images [84.8536730437934]
教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。
提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
論文 参考訳(メタデータ) (2021-06-15T09:17:06Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳(メタデータ) (2020-07-20T18:04:14Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳(メタデータ) (2020-05-18T18:01:22Z) - Toward a Controllable Disentanglement Network [22.968760397814993]
本稿では, 画像編集における歪みの程度を制御し, 歪み強度と復元品質のバランスをとることにより, 歪み画像表現を学習する2つの重要な問題に対処する。
ソフトターゲット表現の実際の値空間を探索することにより、指定された特性を持つ新規な画像を合成することができる。
論文 参考訳(メタデータ) (2020-01-22T16:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。