論文の概要: Smooth head tracking for virtual reality applications
- arxiv url: http://arxiv.org/abs/2110.14193v1
- Date: Wed, 27 Oct 2021 05:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-29 02:35:46.201743
- Title: Smooth head tracking for virtual reality applications
- Title（参考訳）: 仮想現実応用のためのスムースヘッドトラッキング
- Authors: Abdenour Amamra
- Abstract要約: 本稿では,仮想3次元環境と人間と機械のリアルタイムインタラクションのための新しいヘッドトラッキングソリューションを提案する。
このソリューションは、RGBDデータを利用して、ユーザの頭の動きに応じて仮想カメラのポーズを計算する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we propose a new head-tracking solution for human-machine
real-time interaction with virtual 3D environments. This solution leverages
RGBD data to compute virtual camera pose according to the movements of the
user's head. The process starts with the extraction of a set of facial features
from the images delivered by the sensor. Such features are matched against
their respective counterparts in a reference image for the computation of the
current head pose. Afterwards, a prediction approach is used to guess the most
likely next head move (final pose). Pythagorean Hodograph interpolation is then
adapted to determine the path and local frames taken between the two poses. The
result is a smooth head trajectory that serves as an input to set the camera in
virtual scenes according to the user's gaze. The resulting motion model has the
advantage of being: continuous in time, it adapts to any frame rate of
rendering; it is ergonomic, as it frees the user from wearing tracking markers;
it is smooth and free from rendering jerks; and it is also torsion and
curvature minimizing as it produces a path with minimum bending energy.
- Abstract（参考訳）: 本研究では,仮想3次元環境と人間と機械のリアルタイムインタラクションのための新しいヘッドトラッキングソリューションを提案する。
このソリューションでは、rgbdデータを利用してユーザーの頭の動きに応じて仮想カメラのポーズを計算する。
このプロセスは、センサーが撮影した画像から一連の顔の特徴を抽出することから始まる。
このような特徴は、現在の頭部姿勢の計算のための基準画像において、それぞれの特徴と一致する。
その後、予測アプローチを使用して、最も可能性の高い次の頭部の動き(最終ポーズ)を推測する。
ピタゴラスのホドグラフの補間は、2つのポーズの間の経路と局所的なフレームを決定するために適応される。
その結果、ユーザーの視線に応じてカメラを仮想シーンに設定するための入力として機能するスムーズな頭部軌跡が得られた。
結果として得られた動きモデルは、次のような利点がある: 連続的、任意のフレームレートのレンダリングに適応する; エルゴノミクス的であり、ユーザがトラッキングマーカーを身に着けることから解放される; 滑らかで、ごまかしのない; そして、最小の曲げエネルギーを持つ経路を生成するために、ねじれと曲率を最小化する。
関連論文リスト
- IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。
我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
論文 参考訳（メタデータ） (2024-10-10T16:54:23Z) - 3D Human Scan With A Moving Event Camera [7.734104968315144]
イベントカメラは高時間分解能と高ダイナミックレンジの利点がある。
本稿では,3次元ポーズ推定とヒューマンメッシュ復元のためのイベントベース手法を提案する。
論文 参考訳（メタデータ） (2024-04-12T14:34:24Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳（メタデータ） (2023-09-28T17:59:51Z) - Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。
CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。
本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
論文 参考訳（メタデータ） (2023-09-20T02:24:40Z) - FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses
via Pixel-Aligned Scene Flow [26.528667940013598]
ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。
これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。
本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T20:58:46Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-29T11:25:14Z) - PIRenderer: Controllable Portrait Image Generation via Semantic Neural
Rendering [56.762094966235566]
ポートレート画像ニューラルレンダは、3次元の変形可能な顔モデルのパラメータで顔の動きを制御するために提案される。
提案モデルでは直感的な修正によって正確な動きで写真リアルなポートレート画像を生成することができる。
本モデルでは、単一の参照画像と駆動音声ストリームのみから、説得力のある動きでコヒーレントな動画を生成することができる。
論文 参考訳（メタデータ） (2021-09-17T07:24:16Z) - Learning Neural Representation of Camera Pose with Matrix Representation
of Pose Shift via View Synthesis [105.37072293076767]
カメラポーズを効果的に表現する方法は、3Dコンピュータビジョンの重要な問題です。
カメラポーズと3Dシーンのニューラル表現を学習するためのアプローチを提案する。
合成および実データに対する広範な実験を行う。
論文 参考訳（メタデータ） (2021-04-04T00:40:53Z) - UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。
まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。
次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
論文 参考訳（メタデータ） (2020-11-12T09:31:09Z) - I Like to Move It: 6D Pose Estimation as an Action Decision Process [53.63776807432945]
オブジェクトのポーズ推定は、ロボットビジョンとARの不可欠な部分である。
以前の6Dポーズ検索パイプラインは、問題を回帰タスクとして扱うか、または、ポーズ空間を識別して分類する。
我々はこのパラダイムを変更し、初期ポーズを段階的に離散的に更新するアクション決定プロセスとして問題を再構築する。
ニューラルネットワークが推定すると、単一のRGBイメージから反復的に移動し、許容できる最終ポーズを決定する。
論文 参考訳（メタデータ） (2020-09-26T20:05:42Z) - Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with
an RGB-D camera [2.3260877354419254]
コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。
誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
論文 参考訳（メタデータ） (2020-04-22T13:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。