論文の概要: LatentKeypointGAN: Controlling Images via Latent Keypoints

• arxiv url: http://arxiv.org/abs/2103.15812v5
• Date: Sun, 13 Oct 2024 19:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:58:19.754556
• Title: LatentKeypointGAN: Controlling Images via Latent Keypoints
• Title（参考訳）: LatentKeypointGAN: Latent Keypointsによる画像制御
• Authors: Xingzhe He, Bastian Wandt, Helge Rhodin,
• Abstract要約: 古典的なGAN目標に対して,2段階のGAN訓練を施したエンドツーエンドであるLatntKeypointGANを紹介する。 LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。 さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法が可能になる。
• 参考スコア（独自算出の注目度）: 23.670795505376336
• License:
• Abstract: Generative adversarial networks (GANs) have attained photo-realistic quality in image generation. However, how to best control the image content remains an open challenge. We introduce LatentKeypointGAN, a two-stage GAN which is trained end-to-end on the classical GAN objective with internal conditioning on a set of space keypoints. These keypoints have associated appearance embeddings that respectively control the position and style of the generated objects and their parts. A major difficulty that we address with suitable network architectures and training schemes is disentangling the image into spatial and appearance factors without domain knowledge and supervision signals. We demonstrate that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as generating portraits by combining the eyes, nose, and mouth from different images. In addition, the explicit generation of keypoints and matching images enables a new, GAN-based method for unsupervised keypoint detection.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、画像生成において、フォトリアリスティックな品質を実現している。 しかし、画像コンテンツをどう制御するかは、依然としてオープンな課題である。 本稿では,古典的GAN目標に対して,空間キーポイントの集合に対する内部条件付きエンドツーエンドでトレーニングされた2段階のGANであるLatntKeypointGANを紹介する。 これらのキーポイントは、それぞれ生成されたオブジェクトとその部分の位置とスタイルを制御する、関連する外観埋め込みを持つ。 適切なネットワークアーキテクチャとトレーニングスキームで対処する大きな困難は、画像をドメイン知識や監視信号なしで空間的・外観的要素に切り離すことである。 我々は、LatentKeypointGANが、異なる画像から目、鼻、口の組み合わせでポートレートを生成するなど、キーポイントの埋め込みを再配置し交換することで、生成された画像を再配置するのに使用できる解釈可能な潜在空間を提供することを示した。 さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法が可能になる。

関連論文リスト

• Design and Identification of Keypoint Patches in Unstructured Environments [7.940068522906917]
  画像内のキーポイント識別は、生画像から2D座標への直接マッピングを可能にする。 様々なスケール,回転,カメラ投影を考慮した,単純な4つの異なる設計を提案する。 様々な画像劣化条件下でのロバスト検出を確保するために,スーパーポイントネットワークをカスタマイズする。
  論文  参考訳（メタデータ） (2024-10-01T09:05:50Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
  DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。 定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
  論文  参考訳（メタデータ） (2023-05-18T13:41:25Z)
• LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract [16.5436159805682]
  キーポイントのセットと関連する外観埋め込みを条件とした2段階のGANであるLatntKeypointGANを紹介する。 LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
  論文  参考訳（メタデータ） (2022-05-06T19:00:07Z)
• Probabilistic Spatial Distribution Prior Based Attentional Keypoints Matching Network [19.708243062836104]
  キーポイントマッチングは、画像ステッチ、視覚的同時ローカライゼーション、マッピングなど、多くの画像関連アプリケーションにとって重要なコンポーネントである。 本稿では、IMU統合による動き推定を用いて、画像間のキーポイントの前の空間分布を推定できることを実証する。 本稿では,提案したキーポイントマッチングネットワークに対して,マッチングと未マッチングのキーポイント間のスムーズなエッジを与えるプロジェクションロスを提案する。
  論文  参考訳（メタデータ） (2021-11-17T09:52:03Z)
• Weakly Supervised Keypoint Discovery [27.750244813890262]
  画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。 本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。 本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-28T01:26:53Z)
• End-to-End Learning of Keypoint Representations for Continuous Control from Images [84.8536730437934]
  教師なしの事前学習、デコーダ、追加の損失を必要とせずに、エンドツーエンドで効率的なキーポイント表現を学習できることが示される。 提案アーキテクチャは,ソフトアクター・クリティカルエージェントに直接座標を供給するキーポイント抽出器で構成されている。
  論文  参考訳（メタデータ） (2021-06-15T09:17:06Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Disentangled Image Generation Through Structured Noise Injection [48.956122902434444]
  生成ネットワークの第1層における乱れは生成した画像の乱れにつながることを示す。 本研究では,前景の空間的ゆがみ,空間的ゆがみ,空間的ゆがみ,背景からの物体のゆがみを実現する。 これは、FFHQデータセットの最先端のメソッドよりも、実証的に不整合スコアが向上する。
  論文  参考訳（メタデータ） (2020-04-26T15:15:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。