論文の概要: NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2203.10496v3
• Date: Mon, 14 Aug 2023 10:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 23:35:57.188644
• Title: NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks
• Title（参考訳）: neuralreshaper:ディープニューラルネットワークによる1画像人体リタッチ
• Authors: Beijia Chen, Yuefan Shen, Hongbo Fu, Xiang Chen, Kun Zhou, Youyi Zheng
• Abstract要約: 本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
• 参考スコア（独自算出の注目度）: 50.40798258968408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present NeuralReshaper, a novel method for semantic reshaping of human bodies in single images using deep generative networks. To achieve globally coherent reshaping effects, our approach follows a fit-then-reshape pipeline, which first fits a parametric 3D human model to a source human image and then reshapes the fitted 3D model with respect to user-specified semantic attributes. Previous methods rely on image warping to transfer 3D reshaping effects to the entire image domain and thus often cause distortions in both foreground and background. In contrast, we resort to generative adversarial nets conditioned on the source image and a 2D warping field induced by the reshaped 3D model, to achieve more realistic reshaping results. Specifically, we separately encode the foreground and background information in the source image using a two-headed UNet-like generator, and guide the information flow from the foreground branch to the background branch via feature space warping. Furthermore, to deal with the lack-of-data problem that no paired data exist (i.e., the same human bodies in varying shapes), we introduce a novel self-supervised strategy to train our network. Unlike previous methods that often require manual efforts to correct undesirable artifacts caused by incorrect body-to-image fitting, our method is fully automatic. Extensive experiments on both indoor and outdoor datasets demonstrate the superiority of our method over previous approaches.
• Abstract（参考訳）: 本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 このパイプラインは、まずパラメトリックな3d人間モデルから人間の画像に適合し、その後、ユーザによって特定された意味属性に対して適合した3dモデルを再形成する。 以前の手法では、画像領域全体に3D再構成効果を伝達するため、前景と背景の両方に歪みを引き起こすことが多かった。 対照的に, ソース画像に条件づけられた生成的対向ネットと, 再構成された3次元モデルによって引き起こされる2次元歪場を用い, より現実的な再構成結果を得る。 具体的には、2つのUNetライクなジェネレータを用いて、ソース画像のフォアグラウンドとバックグラウンド情報を別々に符号化し、特徴空間のワープにより、フォアグラウンドブランチからバックブランチへの情報フローを誘導する。 さらに、ペアデータが存在しないデータ不足(例えば、異なる形状の同一の人体)に対処するために、ネットワークを訓練するための新たな自己管理戦略を導入する。 不正な体と画像のフィッティングによる望ましくないアーティファクトの修正を手作業で行う従来の方法とは異なり,本手法は完全自動である。 屋内および屋外のデータセットに対する広範囲な実験により,従来の手法よりも優れた手法が得られた。

関連論文リスト

• Cross-view and Cross-pose Completion for 3D Human Understanding [22.787947086152315]
  画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。 身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。 汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
  論文  参考訳（メタデータ） (2023-11-15T16:51:18Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Towards Hard-pose Virtual Try-on via 3D-aware Global Correspondence Learning [70.75369367311897]
  3D対応のグローバルな対応は、グローバルな意味的相関、局所的な変形、および3D人体の幾何学的先行を共同でエンコードする信頼性のあるフローである。 対向ジェネレータは、3D認識フローによって歪んだ衣服と、対象者の画像とを入力として、フォトリアリスティックな試着結果を合成する。
  論文  参考訳（メタデータ） (2022-11-25T12:16:21Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)
• Learning 3D Human Shape and Pose from Dense Body Parts [117.46290013548533]
  本研究では,3次元の人体形状を学習し,身体部分の密接な対応からポーズをとるために,分解・集約ネットワーク(DaNet)を提案する。 ローカルストリームからのメッセージは集約され、回転ベースのポーズの堅牢な予測が強化される。 提案手法は,Human3.6M,UP3D,COCO,3DPWを含む屋内および実世界のデータセットで検証される。
  論文  参考訳（メタデータ） (2019-12-31T15:09:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。