論文の概要: LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract

• arxiv url: http://arxiv.org/abs/2205.03448v1
• Date: Fri, 6 May 2022 19:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-15 14:09:20.133329
• Title: LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract
• Title（参考訳）: latentkeypointgan: 潜在キーポイントによるイメージ制御 -- 拡張抽象
• Authors: Xingzhe He, Bastian Wandt, Helge Rhodin
• Abstract要約: キーポイントのセットと関連する外観埋め込みを条件とした2段階のGANであるLatntKeypointGANを紹介する。 LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。
• 参考スコア（独自算出の注目度）: 16.5436159805682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative adversarial networks (GANs) can now generate photo-realistic images. However, how to best control the image content remains an open challenge. We introduce LatentKeypointGAN, a two-stage GAN internally conditioned on a set of keypoints and associated appearance embeddings providing control of the position and style of the generated objects and their respective parts. A major difficulty that we address is disentangling the image into spatial and appearance factors with little domain knowledge and supervision signals. We demonstrate in a user study and quantitative experiments that LatentKeypointGAN provides an interpretable latent space that can be used to re-arrange the generated images by re-positioning and exchanging keypoint embeddings, such as generating portraits by combining the eyes, and mouth from different images. Notably, our method does not require labels as it is self-supervised and thereby applies to diverse application domains, such as editing portraits, indoor rooms, and full-body human poses.
• Abstract（参考訳）: GAN(Generative Adversarial Network)は、フォトリアリスティックな画像を生成することができる。 しかし、画像コンテンツをどう制御するかは、依然としてオープンな課題である。 生成したオブジェクトの位置とスタイルを制御可能なキーポイントと関連する外観埋め込みを内部的に条件付けした2段階のGANであるLatntKeypointGANを紹介する。 主な課題は、画像の空間的・外見的要素をドメイン知識や監視信号の少ない領域に切り離すことである。 本研究では,LatentKeypointGANが生成した画像を再配置し,異なる画像から顔と口を合成して画像を生成するようなキーポイント埋め込みを交換することで,解釈可能な潜在空間を提供することを示す。 特に,本手法は自己監督されているためラベルを必要としないため,ポートレートの編集や室内室,全身の人間のポーズなど,多様な応用領域に適用できる。

関連論文リスト

• Design and Identification of Keypoint Patches in Unstructured Environments [7.940068522906917]
  画像内のキーポイント識別は、生画像から2D座標への直接マッピングを可能にする。 様々なスケール,回転,カメラ投影を考慮した,単純な4つの異なる設計を提案する。 様々な画像劣化条件下でのロバスト検出を確保するために,スーパーポイントネットワークをカスタマイズする。
  論文  参考訳（メタデータ） (2024-10-01T09:05:50Z)
• Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
  DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。 定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
  論文  参考訳（メタデータ） (2023-05-18T13:41:25Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Weakly Supervised Keypoint Discovery [27.750244813890262]
  画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。 本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。 本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-28T01:26:53Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• LatentKeypointGAN: Controlling Images via Latent Keypoints [23.670795505376336]
  古典的なGAN目標に対して,2段階のGAN訓練を施したエンドツーエンドであるLatntKeypointGANを紹介する。 LatentKeypointGANは、生成されたイメージの再配列に使用できる解釈可能な潜在空間を提供する。 さらに、キーポイントとマッチング画像の明示的な生成により、教師なしキーポイント検出のための新しいGANベースの方法が可能になる。
  論文  参考訳（メタデータ） (2021-03-29T17:59:10Z)
• Semi-supervised Keypoint Localization [12.37129078618206]
  キーポイントのヒートマップを同時に学習し、不変なキーポイント表現を半監督的に提示することを提案する。 提案手法は,ヒトおよび動物の身体ランドマークの定位に関するいくつかのベンチマークにおいて,従来の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-01-20T06:23:08Z)
• PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
  本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。 トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。 アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
  論文  参考訳（メタデータ） (2020-09-20T17:53:51Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。