論文の概要: Neural Re-Rendering of Humans from a Single Image

• arxiv url: http://arxiv.org/abs/2101.04104v1
• Date: Mon, 11 Jan 2021 18:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 14:38:28.829159
• Title: Neural Re-Rendering of Humans from a Single Image
• Title（参考訳）: 単一画像からの人間の神経的再レンダリング
• Authors: Kripasindhu Sarkar, Dushyant Mehta, Weipeng Xu, Vladislav Golyanik, Christian Theobalt
• Abstract要約: 本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
• 参考スコア（独自算出の注目度）: 80.53438609047896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human re-rendering from a single image is a starkly under-constrained problem, and state-of-the-art algorithms often exhibit undesired artefacts, such as over-smoothing, unrealistic distortions of the body parts and garments, or implausible changes of the texture. To address these challenges, we propose a new method for neural re-rendering of a human under a novel user-defined pose and viewpoint, given one input image. Our algorithm represents body pose and shape as a parametric mesh which can be reconstructed from a single image and easily reposed. Instead of a colour-based UV texture map, our approach further employs a learned high-dimensional UV feature map to encode appearance. This rich implicit representation captures detailed appearance variation across poses, viewpoints, person identities and clothing styles better than learned colour texture maps. The body model with the rendered feature maps is fed through a neural image-translation network that creates the final rendered colour image. The above components are combined in an end-to-end-trained neural network architecture that takes as input a source person image, and images of the parametric body model in the source pose and desired target pose. Experimental evaluation demonstrates that our approach produces higher quality single image re-rendering results than existing methods.
• Abstract（参考訳）: 単一の画像から人間の再レンダリングは、非常に制約の厳しい問題であり、最先端のアルゴリズムは、過度に滑らかな、身体の部品や衣服の非現実的な歪み、あるいはテクスチャの不可解な変化など、望ましくない成果物をしばしば示す。 これらの課題に対処するために,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 本アルゴリズムは,単一の画像から再構成でき,容易に再現できるパラメトリックメッシュとして,身体のポーズと形状を表現する。 色に基づくUVテクスチャマップの代わりに,学習した高次元UV特徴マップを用いて外観を符号化する。 この豊かな暗黙の表現は、学習された色彩テクスチャマップよりも、ポーズ、視点、人物のアイデンティティ、服装スタイルの詳細な外観変化を捉えている。 レンダリングされた特徴マップを持つボディモデルは、最終的なレンダリングされたカラー画像を生成するニューラルネットワークを介して供給される。 上記のコンポーネントは、ソースパーソンイメージを入力として取り込んだエンドツーエンドのニューラルネットワークアーキテクチャと、ソースポーズと所望のターゲットポーズにおけるパラメトリックボディモデルのイメージに結合される。 実験評価により,提案手法は既存の手法よりも高品質な単一画像再レンダリング結果が得られることを示した。

関連論文リスト

• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• SiTH: Single-view Textured Human Reconstruction with Image-Conditioned Diffusion [35.73448283467723]
  SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。 我々は、入力画像に基づいて、見えないバックビューの外観を幻覚させるために、強力な生成拡散モデルを用いる。 後者では,入力画像とバックビュー画像から全身のテクスチャメッシュを復元するためのガイダンスとして,肌付きボディーメッシュを利用する。
  論文  参考訳（メタデータ） (2023-11-27T14:22:07Z)
• Refining 3D Human Texture Estimation from a Single Image [3.8761064607384195]
  1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。 本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T19:53:50Z)
• Neural Texture Extraction and Distribution for Controllable Person Image Synthesis [46.570170624026595]
  身体のポーズや外観を明示的に制御した参照画像から人間を再レンダリングすることを目的とした、制御可能な人物画像合成タスクに対処する。 人物画像が高度に構造化されていることを観察し、参照画像のセマンティックエンティティを抽出し、分散することにより、所望の画像を生成することを提案する。
  論文  参考訳（メタデータ） (2022-04-13T03:51:07Z)
• NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks [50.40798258968408]
  本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。 われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。 ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
  論文  参考訳（メタデータ） (2022-03-20T09:02:13Z)
• EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
  EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。 このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。 レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-24T18:33:02Z)
• Creating and Reenacting Controllable 3D Humans with Differentiable Rendering [3.079885946230076]
  本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。 提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。 合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
  論文  参考訳（メタデータ） (2021-10-22T12:40:09Z)
• Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN [88.62422914645066]
  任意のポーズで1つの画像から人物を再レンダリングするアルゴリズムを提案する。 既存の方法では、画像の同一性や細部を保ちながら、隠蔽されたコンテンツを写実的に幻覚することはしばしば困難である。 本手法は, 定量的評価と視覚的比較の両方において, 最先端のアルゴリズムと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2021-09-13T17:59:33Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。