論文の概要: Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications
- arxiv url: http://arxiv.org/abs/2109.02740v1
- Date: Mon, 6 Sep 2021 21:03:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 14:38:57.741398
- Title: Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications
- Title（参考訳）: 複合現実臨床応用のための単眼3dヘッドフィッティング
- Authors: Tejas Mane, Aylar Bayramova, Kostas Daniilidis, Philippos Mordohai,
Elena Bernardis
- Abstract要約: 我々のゴールは、将来の複合現実感アプリケーションを実現するために、各人のヘッドモデルを再構築することである。
移動構造と多視点ステレオにより高密度な3次元再構成とカメラ情報を復元する。
次に、これらを新しい2段階のフィッティングプロセスで使用し、3Dヘッドの形状を復元する。
- 参考スコア（独自算出の注目度）: 41.63137498124499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of estimating the shape of a person's head, defined as
the geometry of the complete head surface, from a video taken with a single
moving camera, and determining the alignment of the fitted 3D head for all
video frames, irrespective of the person's pose. 3D head reconstructions
commonly tend to focus on perfecting the face reconstruction, leaving the scalp
to a statistical approximation. Our goal is to reconstruct the head model of
each person to enable future mixed reality applications. To do this, we recover
a dense 3D reconstruction and camera information via structure-from-motion and
multi-view stereo. These are then used in a new two-stage fitting process to
recover the 3D head shape by iteratively fitting a 3D morphable model of the
head with the dense reconstruction in canonical space and fitting it to each
person's head, using both traditional facial landmarks and scalp features
extracted from the head's segmentation mask. Our approach recovers consistent
geometry for varying head shapes, from videos taken by different people, with
different smartphones, and in a variety of environments from living rooms to
outdoor spaces.
- Abstract（参考訳）: 本研究では,全頭部形状として定義される頭部形状を,単一の移動カメラで撮影した映像から推定し,人のポーズに関わらず,すべての映像フレームに対して装着した3Dヘッドのアライメントを決定するという課題に対処する。
3次元頭部再建は一般的に顔の復元に焦点を合わせ、頭皮を統計的に近似する傾向にある。
私たちの目標は、将来の複合現実アプリケーションを可能にするために、各人の頭部モデルを再構築することです。
そこで我々は,立体構造と多視点ステレオを用いて,高密度な3次元再構成とカメラ情報を復元する。
次に、従来の顔のランドマークと頭部セグメンテーションマスクから抽出した頭皮の特徴の両方を用いて、頭部の3次元形態モデルと高次空間の密な再構成を反復的に組み合わせて、頭部の3次元形状を復元する新たな2段階フィッティングプロセスでこれらが使用される。
提案手法は,異なる人物が撮影したビデオ,異なるスマートフォン,リビングルームから屋外空間までさまざまな環境から,様々な頭部形状に対する一貫した形状を復元する。
関連論文リスト
- Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings [4.592222359553848]
我々は、ベースプラットフォームとして3Dスライダを選択し、センサーとしてモノクルカメラを使用しました。
神経放射場(NeRF)アルゴリズムを用いて頭部の3次元モデル再構成を行った。
個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。
論文 参考訳（メタデータ） (2024-06-18T20:42:09Z) - HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T12:38:56Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。
マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。
本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
論文 参考訳（メタデータ） (2023-03-28T11:12:26Z) - Learning to regulate 3D head shape by removing occluding hair from
in-the-wild images [0.0]
毛髪を除去し,皮膚を再構築し,上頭骨をモデル化するための新しいアプローチを提案する。
我々の教師なし3DMMモデルは、一般的なベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2022-08-25T13:18:26Z) - Prior-Guided Multi-View 3D Head Reconstruction [28.126115947538572]
従来の多視点ステレオ法は, 頭部構造が不明瞭なり, 毛髪部が不正確であったりするなどの低周波構造に悩まされていた。
この問題に対処するため,我々は事前誘導型暗黙的ニューラルネットワークを提案する。
これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
論文 参考訳（メタデータ） (2021-07-09T07:43:56Z) - HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。
3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
論文 参考訳（メタデータ） (2020-12-15T12:51:32Z) - Deep 3D Portrait from a Single Image [54.634207317528364]
1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。
顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。
提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
論文 参考訳（メタデータ） (2020-04-24T08:55:37Z) - Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with
an RGB-D camera [2.3260877354419254]
コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。
誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
論文 参考訳（メタデータ） (2020-04-22T13:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。