論文の概要: EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
- arxiv url: http://arxiv.org/abs/2111.12685v1
- Date: Wed, 24 Nov 2021 18:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 16:43:23.107390
- Title: EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
- Title（参考訳）: EgoRenderer:Egocentricカメラ画像から人間のアバターをレンダリング
- Authors: Tao Hu, Kripasindhu Sarkar, Lingjie Liu, Matthias Zwicker, Christian
Theobalt
- Abstract要約: EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。
このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。
レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
- 参考スコア（独自算出の注目度）: 87.96474006263692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present EgoRenderer, a system for rendering full-body neural avatars of a
person captured by a wearable, egocentric fisheye camera that is mounted on a
cap or a VR headset. Our system renders photorealistic novel views of the actor
and her motion from arbitrary virtual camera locations. Rendering full-body
avatars from such egocentric images come with unique challenges due to the
top-down view and large distortions. We tackle these challenges by decomposing
the rendering process into several steps, including texture synthesis, pose
construction, and neural image translation. For texture synthesis, we propose
Ego-DPNet, a neural network that infers dense correspondences between the input
fisheye images and an underlying parametric body model, and to extract textures
from egocentric inputs. In addition, to encode dynamic appearances, our
approach also learns an implicit texture stack that captures detailed
appearance variation across poses and viewpoints. For correct pose generation,
we first estimate body pose from the egocentric view using a parametric model.
We then synthesize an external free-viewpoint pose image by projecting the
parametric model to the user-specified target viewpoint. We next combine the
target pose image and the textures into a combined feature image, which is
transformed into the output color image using a neural image translation
network. Experimental evaluations show that EgoRenderer is capable of
generating realistic free-viewpoint avatars of a person wearing an egocentric
camera. Comparisons to several baselines demonstrate the advantages of our
approach.
- Abstract（参考訳）: 本稿では、ウェアラブル・魚眼カメラを装着した人の全身神経アバターを、キャップやvrヘッドセットに装着してレンダリングするシステムであるegorendererを提案する。
本システムでは,任意の仮想カメラ位置からのアクターとその動きを,フォトリアリスティックに表現する。
このようなエゴセントリックなイメージから全身アバターをレンダリングすることは、トップダウンビューと大きな歪みのため、ユニークな課題を伴う。
レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
テクスチャ合成のために,入力魚眼画像と基礎となるパラメトリックボディモデルとの密接な対応を推論するニューラルネットワークであるEgo-DPNetを提案し,エゴセントリック入力からテクスチャを抽出する。
さらに,動的な外観をエンコードするために,ポーズや視点の詳細な外観変化をキャプチャする暗黙的なテクスチャスタックも学習する。
適切なポーズ生成のために,まず物体の姿勢をパラメータモデルを用いてエゴセントリックな視点から推定する。
次に、パラメトリックモデルをユーザ特定対象視点に投影することにより、外部自由視点ポーズ画像を合成する。
次に、ターゲットポーズ画像とテクスチャを合成特徴画像に組み合わせ、ニューラルイメージ変換ネットワークを用いて出力色画像に変換する。
実験的評価により、エゴレンダーはエゴセントリックカメラを装着した人のリアルな自由視点アバターを生成できることが示されている。
いくつかのベースラインとの比較は、我々のアプローチの利点を示している。
関連論文リスト
- EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳（メタデータ） (2024-09-22T22:50:27Z) - TexVocab: Texture Vocabulary-conditioned Human Avatars [42.170169762733835]
TexVocabは、テクスチャ語彙を構築し、ボディポーズをアニメーション用のテクスチャマップに関連付ける新しいアバター表現である。
提案手法は,RGBビデオから詳細な動的外見を持つアニマタブルなヒトアバターを作成できる。
論文 参考訳（メタデータ） (2024-03-31T01:58:04Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。
既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。
本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T21:35:39Z) - Realistic One-shot Mesh-based Head Avatars [7.100064936484693]
本稿では,リアルなワンショットメッシュによる人間の頭部アバター作成システムROMEについて述べる。
一つの写真を用いて,人物固有の頭部メッシュと関連する神経テクスチャを推定し,局所的な測光と幾何学的詳細の両方を符号化する。
生成されたアバターはリグされ、ニューラルネットワークを使用してレンダリングすることができる。
論文 参考訳（メタデータ） (2022-06-16T17:45:23Z) - Pipeline for 3D reconstruction of the human body from AR/VR headset
mounted egocentric cameras [0.0]
エゴセントリックな視点から全身の3次元再構築のための新しいパイプラインを提案する。
まず、条件付きGANを用いて、エゴセントリックな視点をフルボディの第三者の視点に変換する。
生成されたメッシュは、かなり現実的なボディパーセンテージを持ち、さらなる応用を可能にする。
論文 参考訳（メタデータ） (2021-11-09T20:38:32Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳（メタデータ） (2021-01-11T18:53:47Z) - SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。
この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。
本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-02T16:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。