論文の概要: LatentKeypointGAN: Controlling GANs via Latent Keypoints

• arxiv url: http://arxiv.org/abs/2103.15812v1
• Date: Mon, 29 Mar 2021 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 16:49:04.642050
• Title: LatentKeypointGAN: Controlling GANs via Latent Keypoints
• Title（参考訳）: LatentKeypointGAN: Latent KeypointsによるGAN制御
• Authors: Xingzhe He, Bastian Wandt, Helge Rhodin
• Abstract要約: LatentKeypointGANは、古典的なGAN目標に基づいてエンドツーエンドでトレーニングされた2段階のGANです。 さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法論が実現される。
• 参考スコア（独自算出の注目度）: 16.900404701997502
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generative adversarial networks (GANs) have attained photo-realistic quality. However, it remains an open challenge of how to best control the image content. We introduce LatentKeypointGAN, a two-stage GAN that is trained end-to-end on the classical GAN objective yet internally conditioned on a set of sparse keypoints with associated appearance embeddings that respectively control the position and style of the generated objects and their parts. A major difficulty that we address with suitable network architectures and training schemes is disentangling the image into spatial and appearance factors without any supervision signals of either nor domain knowledge. We demonstrate that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as combining the eyes, nose, and mouth from different images for generating portraits. In addition, the explicit generation of keypoints and matching images enables a new, GAN-based methodology for unsupervised keypoint detection.
• Abstract（参考訳）: generative adversarial networks (gans) はフォトリアリスティックな品質を達成している。 しかし、画像コンテンツのベストコントロールについては、まだ未解決の課題である。 この2段階のGANは、古典的なGANの目的に基づいてエンドツーエンドに訓練されるが、各オブジェクトとその部分の位置とスタイルをそれぞれ制御する、関連した外観埋め込みを持つスパースキーポイントのセットで内部的に条件付けされている。 適切なネットワークアーキテクチャとトレーニングスキームに対処する大きな難しさは、イメージを空間的および外観的要素に切り離すことであり、ドメイン知識の監視信号や知識は不要である。 latentkeypointganは、異なる画像から目、鼻、口を組み合わせてポートレートを生成するようなキーポイント埋め込みを再配置し交換することで、生成された画像の再配置に使用できる解釈可能な潜在空間を提供する。 さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法論が実現される。

関連論文リスト

• Design and Identification of Keypoint Patches in Unstructured Environments [7.940068522906917]
  画像内のキーポイント識別は、生画像から2D座標への直接マッピングを可能にする。 様々なスケール,回転,カメラ投影を考慮した,単純な4つの異なる設計を提案する。 様々な画像劣化条件下でのロバスト検出を確保するために,スーパーポイントネットワークをカスタマイズする。
  論文  参考訳（メタデータ） (2024-10-01T09:05:50Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
  DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。 定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
  論文  参考訳（メタデータ） (2023-05-18T13:41:25Z)
• LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract [16.5436159805682]
  キーポイントのセットと関連する外観埋め込みを条件とした2段階のGANであるLatntKeypointGANを紹介する。 LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
  論文  参考訳（メタデータ） (2022-05-06T19:00:07Z)
• Probabilistic Spatial Distribution Prior Based Attentional Keypoints Matching Network [19.708243062836104]
  キーポイントマッチングは、画像ステッチ、視覚的同時ローカライゼーション、マッピングなど、多くの画像関連アプリケーションにとって重要なコンポーネントである。 本稿では、IMU統合による動き推定を用いて、画像間のキーポイントの前の空間分布を推定できることを実証する。 本稿では,提案したキーポイントマッチングネットワークに対して,マッチングと未マッチングのキーポイント間のスムーズなエッジを与えるプロジェクションロスを提案する。
  論文  参考訳（メタデータ） (2021-11-17T09:52:03Z)
• Weakly Supervised Keypoint Discovery [27.750244813890262]
  画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。 本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。 本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-28T01:26:53Z)
• End-to-End Learning of Keypoint Representations for Continuous Control from Images [84.8536730437934]
  教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。 提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
  論文  参考訳（メタデータ） (2021-06-15T09:17:06Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Disentangled Image Generation Through Structured Noise Injection [48.956122902434444]
  生成ネットワークの第1層における乱れは生成した画像の乱れにつながることを示す。 本研究では,前景の空間的ゆがみ,空間的ゆがみ,空間的ゆがみ,背景からの物体のゆがみを実現する。 これは、FFHQデータセットの最先端のメソッドよりも、実証的に不整合スコアが向上する。
  論文  参考訳（メタデータ） (2020-04-26T15:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。