論文の概要: Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis

• arxiv url: http://arxiv.org/abs/2011.09055v2
• Date: Mon, 23 Nov 2020 04:50:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:11:42.839321
• Title: Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis
• Title（参考訳）: 注目された液体ウォーピングgan : 画像合成のための統一フレームワーク
• Authors: Wen Liu, Zhixin Piao, Zhi Tu, Wenhan Luo, Lin Ma and Shenghua Gao
• Abstract要約: 我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。 本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。 我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
• 参考スコア（独自算出の注目度）: 58.05389586712485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We tackle human image synthesis, including human motion imitation, appearance transfer, and novel view synthesis, within a unified framework. It means that the model, once being trained, can be used to handle all these tasks. The existing task-specific methods mainly use 2D keypoints to estimate the human body structure. However, they only express the position information with no abilities to characterize the personalized shape of the person and model the limb rotations. In this paper, we propose to use a 3D body mesh recovery module to disentangle the pose and shape. It can not only model the joint location and rotation but also characterize the personalized body shape. To preserve the source information, such as texture, style, color, and face identity, we propose an Attentional Liquid Warping GAN with Attentional Liquid Warping Block (AttLWB) that propagates the source information in both image and feature spaces to the synthesized reference. Specifically, the source features are extracted by a denoising convolutional auto-encoder for characterizing the source identity well. Furthermore, our proposed method can support a more flexible warping from multiple sources. To further improve the generalization ability of the unseen source images, a one/few-shot adversarial learning is applied. In detail, it firstly trains a model in an extensive training set. Then, it finetunes the model by one/few-shot unseen image(s) in a self-supervised way to generate high-resolution (512 x 512 and 1024 x 1024) results. Also, we build a new dataset, namely iPER dataset, for the evaluation of human motion imitation, appearance transfer, and novel view synthesis. Extensive experiments demonstrate the effectiveness of our methods in terms of preserving face identity, shape consistency, and clothes details. All codes and dataset are available on https://impersonator.org/work/impersonator-plus-plus.html.
• Abstract（参考訳）: 我々は,人間の運動模倣,外観移動,新しい視点合成を含む人間の画像合成を統一的な枠組みで取り組む。 つまり、トレーニングされたモデルを使って、これらのタスクをすべて処理できるということです。 既存のタスク固有の方法は、主に2Dキーポイントを使用して人体構造を推定する。 しかし、人物のパーソナライズされた形状を特徴付ける能力のない位置情報のみを表現し、手足の回転をモデル化する。 本稿では,3Dボディーメッシュリカバリモジュールを用いてポーズと形状をアンタングルする手法を提案する。 関節の位置と回転をモデル化できるだけでなく、パーソナライズされた体の形状もモデル化できる。 本研究では, テクスチャ, スタイル, 色, 顔の同一性などのソース情報を保持するために, 画像および特徴空間のソース情報を合成基準に伝達する, 意図的液体ウォーピングブロック(AttLWB)を用いた注意的液体ウォーピングGANを提案する。 具体的には、ソースidをよく特徴付けるデノージング畳み込みオートエンコーダによってソース特徴を抽出する。 さらに,提案手法は複数のソースからより柔軟なワーピングをサポートすることができる。 未知のソース画像の一般化能力をさらに向上するため、ワンショット対角学習を適用する。 詳しくは、まずモデルを広範なトレーニングセットでトレーニングする。 そして、そのモデルを1/2ショットのアンセエン画像で微調整し、高分解能(512 x 512, 1024 x 1024)結果を生成する。 また、人間の動きの模倣、外観伝達、新しいビュー合成の評価のための新しいデータセット、すなわちiPERデータセットを構築した。 広範な実験により,顔の同一性,形状の一貫性,衣料品の細部を保存できる手法の有効性が実証された。 すべてのコードとデータセットはhttps://impersonator.org/work/impersonator-plus-htmlで公開されている。

関連論文リスト

• One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• Pose Guided Human Image Synthesis with Partially Decoupled GAN [25.800174118151638]
  Pose Guided Human Image Synthesis (PGHIS) は、人間のイメージを基準ポーズから目標ポーズへ変換する難しいタスクである。 本研究では,人体を複数の部分に分解し,現実的な人物像の合成を誘導する手法を提案する。 さらに,PGHISのためのマルチヘッドアテンションベースモジュールを設計する。
  論文  参考訳（メタデータ） (2022-10-07T15:31:37Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Image Comes Dancing with Collaborative Parsing-Flow Video Synthesis [124.48519390371636]
  人の動きをソースから対象人物に転送することは、コンピュータビジョンやグラフィックアプリケーションにおいて大きな可能性を秘めている。 これまでは、人工的な3Dモデルに頼っていたり、ターゲットごとに個別のモデルを訓練していた。 本研究は,ソース映像から対象人物への動きを同期的に伝達する単一モデルを学習することを目的とした,より一般的な設定について研究する。
  論文  参考訳（メタデータ） (2021-10-27T03:42:41Z)
• Creating and Reenacting Controllable 3D Humans with Differentiable Rendering [3.079885946230076]
  本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。 提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。 合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
  論文  参考訳（メタデータ） (2021-10-22T12:40:09Z)
• Neural-GIF: Neural Generalized Implicit Functions for Animating People in Clothing [49.32522765356914]
  私たちは、身体のポーズの関数として、服装の人々をアニメーションすることを学びます。 我々は、学習された変形場を非剛性効果のモデルに適用した、空間のすべての点を標準空間にマッピングすることを学ぶ。 ニューラルGIFは生の3Dスキャンに基づいてトレーニングし、詳細な複雑な表面形状と変形を再構築することができる。
  論文  参考訳（メタデータ） (2021-08-19T17:25:16Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。