論文の概要: MonoNHR: Monocular Neural Human Renderer
- arxiv url: http://arxiv.org/abs/2210.00627v1
- Date: Sun, 2 Oct 2022 21:01:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 15:45:33.741001
- Title: MonoNHR: Monocular Neural Human Renderer
- Title(参考訳): mononhr:モノクロニューラルヒューマンレンダラー
- Authors: Hongsuk Choi, Gyeongsik Moon, Matthieu Armando, Vincent Leroy, Kyoung
Mu Lee, Gregory Rogez
- Abstract要約: モノクラー・ニューラル・ヒューマン・レンダラー(Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー: Monocular Neural Human Renderer, モノクラー・ニューラル・ヒューマン・レンダラー)を提案する。
まず,3次元の幾何学的特徴とテクスチャ的特徴を分離し,テクスチャ推論を3次元の幾何学的特徴に適応させることを提案する。
第2に、対称のような人間の構造的先入観を生かした閉塞部を塗布するメッシュ・インパインター・モジュールを導入する。
- 参考スコア(独自算出の注目度): 51.396845817689915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing neural human rendering methods struggle with a single image input
due to the lack of information in invisible areas and the depth ambiguity of
pixels in visible areas. In this regard, we propose Monocular Neural Human
Renderer (MonoNHR), a novel approach that renders robust free-viewpoint images
of an arbitrary human given only a single image. MonoNHR is the first method
that (i) renders human subjects never seen during training in a monocular
setup, and (ii) is trained in a weakly-supervised manner without geometry
supervision. First, we propose to disentangle 3D geometry and texture features
and to condition the texture inference on the 3D geometry features. Second, we
introduce a Mesh Inpainter module that inpaints the occluded parts exploiting
human structural priors such as symmetry. Experiments on ZJU-MoCap, AIST, and
HUMBI datasets show that our approach significantly outperforms the recent
methods adapted to the monocular case.
- Abstract(参考訳): 既存のニューラルヒューマンレンダリング手法では、見えない領域における情報不足と、可視領域におけるピクセルの深さの曖昧さのため、単一の画像入力に苦労している。
そこで本研究では,任意の人間のロバストな自由視点画像を単一の画像のみにレンダリングする,単眼型ニューラル・ヒューマン・レンダラー(mononhr)を提案する。
MonoNHRは、最初のメソッドです
(i)単眼での訓練中、ヒトの被写体が見えないようにし、
(ii) 幾何学的監督を伴わない弱い監督方法で訓練される。
まず,3次元形状特徴とテクスチャ特徴を分離し,テクスチャ推論を3次元形状特徴で条件付けることを提案する。
第2に,対称性などの人間の構造的先行性を生かした隠蔽部品を塗付したメッシュインパインターモジュールを導入する。
ZJU-MoCap,AIST,HUMBIデータセットを用いた実験により,本手法は分子ケースに適応した最近の手法よりも有意に優れていた。
関連論文リスト
- R2Human: Real-Time 3D Human Appearance Rendering from a Single Image [46.691972209370704]
R$2$Humanは、1つの画像から3D人間の外見をリアルタイムに推測およびレンダリングするための最初のアプローチである。
本稿では、可視領域の高忠実な色再現を行い、隠蔽領域に対して信頼性の高い色推定を行うエンド・ツー・エンド・ネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-10T08:59:43Z) - SiTH: Single-view Textured Human Reconstruction with Image-Conditioned
Diffusion [40.16197757961096]
SiTHは、イメージ条件付き拡散モデルと3Dメッシュ再構築ワークフローを統合する、新しいパイプラインである。
入力画像から背面の外観を幻覚させるために,強力な生成拡散モデルを用いる。
インプットおよびバックビュー画像から全身のテクスチャメッシュを復元するために,スキン付きボディーメッシュをガイダンスとして活用する。
論文 参考訳(メタデータ) (2023-11-27T14:22:07Z) - Single-Image 3D Human Digitization with Shape-Guided Diffusion [31.99621159464388]
NeRFとその変種は通常、異なる視点からのビデオや画像を必要とする。
単一入力画像から一貫した高解像度の外観を持つ人物の360度映像を生成する手法を提案する。
論文 参考訳(メタデータ) (2023-11-15T18:59:56Z) - Rendering Humans from Object-Occluded Monocular Videos [32.67336188239284]
モノクロビデオから人間を動かすことの3D理解とレンダリングは、難しい課題だ。
既存の方法は2つの理由からそのような欠陥に対処できない。
OccNeRF(OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF)について述べる。
論文 参考訳(メタデータ) (2023-08-08T23:12:33Z) - One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。
ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-05T18:24:06Z) - MagicPony: Learning Articulated 3D Animals in the Wild [81.63322697335228]
そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。
その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
論文 参考訳(メタデータ) (2022-11-22T18:59:31Z) - Learning Visibility for Robust Dense Human Body Estimation [78.37389398573882]
2D画像から3Dのポーズと形状を推定することは、非常に難しい課題だ。
部分的な観察に頑健な高密度な人体推定を学習する。
我々は、高密度UV通信から可視性ラベルの擬似基底構造を取得し、3次元座標とともに可視性を予測するニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2022-08-23T00:01:05Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。