論文の概要: Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence
Learning
- arxiv url: http://arxiv.org/abs/2211.14052v1
- Date: Fri, 25 Nov 2022 12:16:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:13:27.440517
- Title: Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence
Learning
- Title(参考訳): 3D対応グローバル対応学習によるハードな仮想試行に向けて
- Authors: Zaiyu Huang, Hanhui Li, Zhenyu Xie, Michael Kampffmeyer, Qingling Cai,
Xiaodan Liang
- Abstract要約: 3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。
対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
- 参考スコア(独自算出の注目度): 70.75369367311897
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we target image-based person-to-person virtual try-on in the
presence of diverse poses and large viewpoint variations. Existing methods are
restricted in this setting as they estimate garment warping flows mainly based
on 2D poses and appearance, which omits the geometric prior of the 3D human
body shape. Moreover, current garment warping methods are confined to localized
regions, which makes them ineffective in capturing long-range dependencies and
results in inferior flows with artifacts. To tackle these issues, we present
3D-aware global correspondences, which are reliable flows that jointly encode
global semantic correlations, local deformations, and geometric priors of 3D
human bodies. Particularly, given an image pair depicting the source and target
person, (a) we first obtain their pose-aware and high-level representations via
two encoders, and introduce a coarse-to-fine decoder with multiple refinement
modules to predict the pixel-wise global correspondence. (b) 3D parametric
human models inferred from images are incorporated as priors to regularize the
correspondence refinement process so that our flows can be 3D-aware and better
handle variations of pose and viewpoint. (c) Finally, an adversarial generator
takes the garment warped by the 3D-aware flow, and the image of the target
person as inputs, to synthesize the photo-realistic try-on result. Extensive
experiments on public benchmarks and our HardPose test set demonstrate the
superiority of our method against the SOTA try-on approaches.
- Abstract(参考訳): 本稿では,多彩なポーズや視点変化の存在下で,画像に基づく仮想試行を目標とする。
既存の方法は、主に2次元のポーズと外観に基づいて衣服の反りの流れを推定し、3次元の人体形状の幾何学的先行を省略するため、この設定で制限されている。
また,現在の衣服の反りは局所的な領域に限定されているため,長距離の依存関係を捉えるのに効果がなく,アーティファクトによる流れが劣る。
これらの課題に対処するために,グローバルな意味的相関,局所的な変形,および3次元人体の幾何学的先行を協調的にエンコードする信頼性のある3D対応のグローバル通信を提案する。
特に、ソースとターゲットの人物を描いた画像対が与えられる。
(a)まず2つのエンコーダによるポーズ認識とハイレベル表現を取得し,画素ワイドな大域対応を予測するために複数の改良モジュールを備えた粗大なデコーダを導入する。
b) 画像から推定される3次元パラメトリック人間モデルを先行として組み込んで, 対応改善プロセスの規則化を行い, フローを3次元認識し, ポーズや視点のバリエーションをよりよく扱えるようにした。
(c)最後に、対向生成装置は、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
公開ベンチマークとHardPoseテストセットに関する大規模な実験は、SOTA試行アプローチに対する我々の手法の優位性を実証している。
関連論文リスト
- 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-07T23:46:41Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。
PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。
我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
論文 参考訳(メタデータ) (2021-12-21T12:48:48Z) - Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose
Estimation [18.103595280706593]
我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。
提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
論文 参考訳(メタデータ) (2020-11-10T10:08:13Z) - SMAP: Single-Shot Multi-Person Absolute 3D Pose Estimation [46.85865451812981]
本稿では,まず,この2.5D表現に基づいて,まず2.5D表現の集合を回帰し,さらに深部認識部分関連アルゴリズムを用いて3D絶対ポーズを再構成するシステムを提案する。
このような単発ボトムアップ方式により、システムは人物間の深度関係をよりよく学習し、推論し、3Dと2Dの両方のポーズ推定を改善することができる。
論文 参考訳(メタデータ) (2020-08-26T09:56:07Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。
ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。
提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
論文 参考訳(メタデータ) (2019-12-31T15:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。