論文の概要: LatentKeypointGAN: Controlling GANs via Latent Keypoints
- arxiv url: http://arxiv.org/abs/2103.15812v4
- Date: Thu, 8 Jun 2023 21:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 18:51:15.321864
- Title: LatentKeypointGAN: Controlling GANs via Latent Keypoints
- Title(参考訳): LatentKeypointGAN: Latent KeypointsによるGAN制御
- Authors: Xingzhe He, Bastian Wandt, Helge Rhodin
- Abstract要約: 古典的なGAN目標に対して,2段階のGAN訓練を施したエンドツーエンドであるLatntKeypointGANを紹介する。
LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法が可能になる。
- 参考スコア(独自算出の注目度): 16.5436159805682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative adversarial networks (GANs) have attained photo-realistic quality
in image generation. However, how to best control the image content remains an
open challenge. We introduce LatentKeypointGAN, a two-stage GAN which is
trained end-to-end on the classical GAN objective with internal conditioning on
a set of space keypoints. These keypoints have associated appearance embeddings
that respectively control the position and style of the generated objects and
their parts. A major difficulty that we address with suitable network
architectures and training schemes is disentangling the image into spatial and
appearance factors without domain knowledge and supervision signals. We
demonstrate that LatentKeypointGAN provides an interpretable latent space that
can be used to re-arrange the generated images by re-positioning and exchanging
keypoint embeddings, such as generating portraits by combining the eyes, nose,
and mouth from different images. In addition, the explicit generation of
keypoints and matching images enables a new, GAN-based method for unsupervised
keypoint detection.
- Abstract(参考訳): generative adversarial networks (gans) は、画像生成においてフォトリアリスティックな品質を達成している。
しかし、画像コンテンツをどう制御するかは、依然としてオープンな課題である。
我々は,空間キーポイントの集合に内部条件付きで古典gan目的のエンドツーエンドを訓練した2段階ganである latentkeypointgan を紹介する。
これらのキーポイントは、それぞれ生成されたオブジェクトとその部分の位置とスタイルを制御する外観埋め込みを持っている。
適切なネットワークアーキテクチャとトレーニングスキームで対処する大きな困難は、画像をドメイン知識や監視信号なしで空間的・外観的要素に切り離すことである。
latentkeypointganは、異なる画像から目、鼻、口を組み合わせることで、キーポイント埋め込みを再配置し交換することで、生成された画像の再配置に使用できる解釈可能な潜在空間を提供する。
さらに、キーポイントとマッチング画像の明示的な生成は、教師なしキーポイント検出の新しいganベースの方法を可能にする。
関連論文リスト
- In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。
エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
論文 参考訳(メタデータ) (2023-09-25T08:42:06Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Drag Your GAN: Interactive Point-based Manipulation on the Generative
Image Manifold [75.26840525430092]
DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である
DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。
定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
論文 参考訳(メタデータ) (2023-05-18T13:41:25Z) - LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended
Abstract [16.5436159805682]
キーポイントのセットと関連する外観埋め込みを条件とした2段階のGANであるLatntKeypointGANを紹介する。
LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
論文 参考訳(メタデータ) (2022-05-06T19:00:07Z) - Probabilistic Spatial Distribution Prior Based Attentional Keypoints
Matching Network [19.708243062836104]
キーポイントマッチングは、画像ステッチ、視覚的同時ローカライゼーション、マッピングなど、多くの画像関連アプリケーションにとって重要なコンポーネントである。
本稿では、IMU統合による動き推定を用いて、画像間のキーポイントの前の空間分布を推定できることを実証する。
本稿では,提案したキーポイントマッチングネットワークに対して,マッチングと未マッチングのキーポイント間のスムーズなエッジを与えるプロジェクションロスを提案する。
論文 参考訳(メタデータ) (2021-11-17T09:52:03Z) - Weakly Supervised Keypoint Discovery [27.750244813890262]
画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。
本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。
本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-28T01:26:53Z) - End-to-End Learning of Keypoint Representations for Continuous Control
from Images [84.8536730437934]
教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。
提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
論文 参考訳(メタデータ) (2021-06-15T09:17:06Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳(メタデータ) (2020-07-20T18:04:14Z) - InterFaceGAN: Interpreting the Disentangled Face Representation Learned
by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。
まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。
次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文 参考訳(メタデータ) (2020-05-18T18:01:22Z) - Toward a Controllable Disentanglement Network [22.968760397814993]
本稿では, 画像編集における歪みの程度を制御し, 歪み強度と復元品質のバランスをとることにより, 歪み画像表現を学習する2つの重要な問題に対処する。
ソフトターゲット表現の実際の値空間を探索することにより、指定された特性を持つ新規な画像を合成することができる。
論文 参考訳(メタデータ) (2020-01-22T16:54:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。