論文の概要: Mirror-Aware Neural Humans
- arxiv url: http://arxiv.org/abs/2309.04750v2
- Date: Wed, 15 May 2024 21:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 19:34:02.882198
- Title: Mirror-Aware Neural Humans
- Title(参考訳): ミラー・アウェア・ニューラル・ヒューマン
- Authors: Daniel Ajisafe, James Tang, Shih-Yang Su, Bastian Wandt, Helge Rhodin,
- Abstract要約: 我々は,カメラの自動校正により,市販の2Dポーズから始まるコンシューマレベルの3Dモーションキャプチャシステムを開発した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
- 参考スコア(独自算出の注目度): 21.0548144424571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human motion capture either requires multi-camera systems or is unreliable when using single-view input due to depth ambiguities. Meanwhile, mirrors are readily available in urban environments and form an affordable alternative by recording two views with only a single camera. However, the mirror setting poses the additional challenge of handling occlusions of real and mirror image. Going beyond existing mirror approaches for 3D human pose estimation, we utilize mirrors for learning a complete body model, including shape and dense appearance. Our main contributions are extending articulated neural radiance fields to include a notion of a mirror, making it sample-efficient over potential occlusion regions. Together, our contributions realize a consumer-level 3D motion capture system that starts from off-the-shelf 2D poses by automatically calibrating the camera, estimating mirror orientation, and subsequently lifting 2D keypoint detections to 3D skeleton pose that is used to condition the mirror-aware NeRF. We empirically demonstrate the benefit of learning a body model and accounting for occlusion in challenging mirror scenes.
- Abstract(参考訳): 人間のモーションキャプチャはマルチカメラシステムを必要とするか、奥行きのあいまいさによるシングルビュー入力を使用する場合、信頼できない。
一方、ミラーは都市環境で簡単に利用でき、単一のカメラで2つのビューを記録することで、手頃な価格の代替品を作ることができる。
しかし、ミラー設定は、リアル画像とミラー画像のオクルージョンを扱うという追加の課題を生じさせる。
3次元人間のポーズ推定のために既存のミラーアプローチを超越して、形状や濃密な外観を含む完全なボディモデルを学ぶためにミラーを利用する。
我々の主な貢献は、鏡の概念を含むように調音された神経放射場を拡張し、潜在的な閉塞領域に対するサンプリング効率を高めることである。
カメラを自動調整し、鏡の向きを推定し、2Dキーポイント検出を3Dスケルトンポーズに持ち上げ、ミラー認識型NeRFを条件付けることで、市販の2Dポーズから始まる3Dモーションキャプチャシステムを実現した。
我々は,身体モデル学習のメリットを実証的に実証し,難解なミラーシーンにおける隠蔽を考慮に入れた。
関連論文リスト
- MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections [58.003014868772254]
MirrorGaussian は 3D Gaussian Splatting に基づくリアルタイムレンダリングによるミラーシーン再構築手法である。
本稿では,現実の3Dガウスと鏡面の両面の微分を可能にする直感的なデュアルレンダリング戦略を提案する。
我々の手法は既存の手法よりも優れており、最先端の結果が得られている。
論文 参考訳(メタデータ) (2024-05-20T09:58:03Z) - Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting [27.361324194709155]
Mirror-3DGSは、ミラー測地と反射の複雑さを習得するために設計された革新的なレンダリングフレームワークである。
鏡の属性を3DGSに組み込むことで、ミラー3DGSは鏡の後ろから観察するミラー化された視点を作り、シーンレンダリングのリアリズムを豊かにする。
論文 参考訳(メタデータ) (2024-04-01T15:16:33Z) - iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse
Views [61.707755434165335]
iFusionは、未知のカメラポーズを持つ2つのビューのみを必要とする、新しい3Dオブジェクト再構成フレームワークである。
我々は,様々な物体の形状や外観に関する暗黙の知識を組み込んだ,事前学習されたビュー合成拡散モデルを利用する。
ポーズ推定と新しいビュー合成の両方において、実験は強い性能を示す。
論文 参考訳(メタデータ) (2023-12-28T18:59:57Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳(メタデータ) (2022-10-27T17:59:53Z) - MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。
本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
論文 参考訳(メタデータ) (2021-08-10T18:39:56Z) - MirrorNeRF: One-shot Neural Portrait RadianceField from Multi-mirror
Catadioptric Imaging [40.795365626968845]
MirrorNeRFは、複数の球面ミラーと単一の高解像度デジタルカメラを備えた触媒イメージングシステムを使用したワンショットニューラルネットワークフリービューポイントレンダリングアプローチです。
柔軟なシステム設定による不一致を暗黙的に補償する連続的変位場を学習するために,新しい神経放射場表現を導入する。
論文 参考訳(メタデータ) (2021-04-06T15:48:47Z) - Reconstructing 3D Human Pose by Watching Humans in the Mirror [41.894948553970245]
鏡を通して人や人のイメージを見ることができる単一の画像から、3D人間のポーズを再構築する新しいタスクを紹介します。
我々は,ミラー対称性の制約を利用して正確な3次元ポーズ再構成を行う最適化手法を開発した。
論文 参考訳(メタデータ) (2021-04-01T08:42:51Z) - Structure of Multiple Mirror System from Kaleidoscopic Projections of
Single 3D Point [14.345346642066511]
本稿では,複数の平面ミラーとカメラから構成されるカレイドスコピックイメージングシステムの構造を発見するための新しいアルゴリズムを提案する。
本論文の重要な貢献は、未知のジオメトリの1つの3次元点を用いて、これらの問題に対する新しいアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2021-03-29T11:12:15Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Weakly-Supervised 3D Human Pose Learning via Multi-view Images in the
Wild [101.70320427145388]
本稿では、3Dアノテーションを必要としない弱教師付きアプローチを提案し、ラベルのないマルチビューデータから3Dポーズを推定する。
提案手法を2つの大規模データセット上で評価する。
論文 参考訳(メタデータ) (2020-03-17T08:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。