論文の概要: RIN: Textured Human Model Recovery and Imitation with a Single Image

• arxiv url: http://arxiv.org/abs/2011.12024v4
• Date: Sat, 14 Aug 2021 12:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:27:38.290380
• Title: RIN: Textured Human Model Recovery and Imitation with a Single Image
• Title（参考訳）: RIN: 単一画像による人体モデル復元と模倣のテクスチャ化
• Authors: Haoxi Ran, Guangfu Wang, Li Lu
• Abstract要約: 本稿では,1枚の画像からテクスチャ化された3Dモデルを構築するための新しいボリュームベースフレームワークを提案する。 具体的には、人間のテクスチャのほとんどを推定するために、U-Netのようなフロントエンド翻訳ネットワークを提案する。 実験の結果,人間の模倣には容積モデルが適切であることが示され,バックビューはネットワークを用いて確実に推定できることがわかった。
• 参考スコア（独自算出の注目度）: 4.87676530016726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human imitation has become topical recently, driven by GAN's ability to disentangle human pose and body content. However, the latest methods hardly focus on 3D information, and to avoid self-occlusion, a massive amount of input images are needed. In this paper, we propose RIN, a novel volume-based framework for reconstructing a textured 3D model from a single picture and imitating a subject with the generated model. Specifically, to estimate most of the human texture, we propose a U-Net-like front-to-back translation network. With both front and back images input, the textured volume recovery module allows us to color a volumetric human. A sequence of 3D poses then guides the colored volume via Flowable Disentangle Networks as a volume-to-volume translation task. To project volumes to a 2D plane during training, we design a differentiable depth-aware renderer. Our experiments demonstrate that our volume-based model is adequate for human imitation, and the back view can be estimated reliably using our network. While prior works based on either 2D pose or semantic map often fail for the unstable appearance of a human, our framework can still produce concrete results, which are competitive to those imagined from multi-view input.
• Abstract（参考訳）: 人間の模倣は、GANの人間のポーズと身体の内容を歪める能力によって、最近話題になっている。 しかし,最新の手法では3d情報にはほとんど注目せず,自己完結を避けるためには大量の入力画像が必要となる。 本稿では,1枚の画像からテクスチャ3dモデルを再構成し,生成したモデルを用いて被写体を模倣する,新しいボリュームベースフレームワークrinを提案する。 具体的には、人間のテクスチャのほとんどを推定するために、U-Netのようなフロントエンド翻訳ネットワークを提案する。 前後の両方の画像を入力すると、テクスチャ化されたボリュームリカバリモジュールによって、ボリュームの人間を色づけすることができます。 3Dポーズのシーケンスは、ボリュームからボリュームへの変換タスクとして、フローブルディケンタングルネットワークを介して色付きボリュームをガイドする。 トレーニング中に2次元平面にボリュームを投影するために, 異なる深度対応レンダラーを設計する。 実験の結果,人間の模倣には容積モデルが適しており,バックビューはネットワークを用いて確実に推定できることがわかった。 2dポーズやセマンティクスマップに基づく先行作業は、人間の不安定な外観では失敗することが多いが、我々のフレームワークは、マルチビュー入力から想像されるものと競合する具体的な結果を生み出すことができる。

関連論文リスト

• COSMU: Complete 3D human shape from monocular unconstrained images [24.08612483445495]
  対象画像から完全な3次元人物形状を再構成するための新しい枠組みを提案する。 本研究の目的は、入力対象に見えない再建された人体の領域において、高品質な詳細を再現することである。
  論文  参考訳（メタデータ） (2024-07-15T10:06:59Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• Coherent Reconstruction of Multiple Humans from a Single Image [68.3319089392548]
  本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成するために学習する単一のネットワークをトレーニングすることである。
  論文  参考訳（メタデータ） (2020-06-15T17:51:45Z)
• Reposing Humans by Warping 3D Features [18.688568898013482]
  人間の画像から密集した特徴量について暗黙的に学習することを提案する。 ボリュームは畳み込みデコーダによってRGB空間にマッピングされる。 DeepFashionとiPERベンチマークの最先端結果は、密度の高い人間の表現が調査に値することを示している。
  論文  参考訳（メタデータ） (2020-06-08T19:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。