論文の概要: Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors

• arxiv url: http://arxiv.org/abs/2007.02884v1
• Date: Mon, 6 Jul 2020 16:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 03:02:46.157258
• Title: Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors
• Title（参考訳）: Augment Yourself:光シースルーヘッドマウントディスプレイと物理ミラーを用いた複合現実型自己拡張
• Authors: Mathias Unberath, Kevin Yu, Roghayeh Barmaki, Alex Johnson, Nassir Navab
• Abstract要約: 光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。 我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。 我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
• 参考スコア（独自算出の注目度）: 49.49841698372575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical see-though head-mounted displays (OST HMDs) are one of the key technologies for merging virtual objects and physical scenes to provide an immersive mixed reality (MR) environment to its user. A fundamental limitation of HMDs is, that the user itself cannot be augmented conveniently as, in casual posture, only the distal upper extremities are within the field of view of the HMD. Consequently, most MR applications that are centered around the user, such as virtual dressing rooms or learning of body movements, cannot be realized with HMDs. In this paper, we propose a novel concept and prototype system that combines OST HMDs and physical mirrors to enable self-augmentation and provide an immersive MR environment centered around the user. Our system, to the best of our knowledge the first of its kind, estimates the user's pose in the virtual image generated by the mirror using an RGBD camera attached to the HMD and anchors virtual objects to the reflection rather than the user directly. We evaluate our system quantitatively with respect to calibration accuracy and infrared signal degradation effects due to the mirror, and show its potential in applications where large mirrors are already an integral part of the facility. Particularly, we demonstrate its use for virtual fitting rooms, gaming applications, anatomy learning, and personal fitness. In contrast to competing devices such as LCD-equipped smart mirrors, the proposed system consists of only an HMD with RGBD camera and, thus, does not require a prepared environment making it very flexible and generic. In future work, we will aim to investigate how the system can be optimally used for physical rehabilitation and personal training as a promising application.
• Abstract（参考訳）: 光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術の1つである。 HMDの基本的な制限は、ユーザ自身は、カジュアルな姿勢では、遠位上肢のみがHMDの視野内にあるため、便利に拡張できないことである。 したがって、仮想ドレッシングルームや体の動きの学習など、ユーザを中心としたほとんどのMRアプリケーションは、HMDでは実現できない。 本稿では,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を実現する,新しいコンセプトとプロトタイプシステムを提案する。 まず,本システムは,hmdに装着したrgbdカメラを用いて,鏡が生成する仮想画像におけるユーザのポーズを推定し,直接ユーザではなく反射に仮想オブジェクトをアンカーする。 本システムでは,キャリブレーション精度と鏡による赤外線信号劣化効果を定量的に評価し,大鏡が設備の不可欠な部分である場合にその可能性を示す。 特に,仮想フィッティングルーム,ゲームアプリケーション,解剖学学習,パーソナルフィットネスへの応用を実証する。 LCD搭載スマートミラーのような競合する装置とは対照的に、提案システムはRGBDカメラを備えたHMDのみで構成されており、非常にフレキシブルで汎用的な環境を必要としない。 今後,本システムがどのように身体リハビリテーションやパーソナルトレーニングに最適に活用できるかを,有望な応用として検討する。

関連論文リスト

• HMD$^2$: Environment-aware Motion Generation from Single Egocentric Head-Mounted Device [41.563572075062574]
  本稿では,外向きカラーカメラを用いた頭部装着装置を用いて,現実的な人体動作のオンライン生成について検討する。 動作再構成と生成のバランスをとるために,新しいシステム HMD$2$ を導入する。
  論文  参考訳（メタデータ） (2024-09-20T11:46:48Z)
• HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations [28.452132601844717]
  HMDとIMUのスケーラブルなスパース観測により全身運動を復元する最初の統一的アプローチであるHMD-Poserを提案する。 HMD-Poserでは,そのモデルがリアルタイムにHMD上で動作することを保証するために,軽量な時空間特徴学習ネットワークを提案する。 AMASSデータセットの大規模な実験結果から、HMD-Poserは、精度とリアルタイムのパフォーマンスの両方において、新しい最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-06T09:10:36Z)
• Toward Optimized VR/AR Ergonomics: Modeling and Predicting User Neck Muscle Contraction [21.654553113159665]
  頭を動かして仮想環境と対話しながら,VRユーザの頸部筋収縮レベル(MCL)を測定し,モデル化し,予測する。 種々の頭部運動状態下での頚部MCLを予測するための生体物理モデルを構築した。 この研究は、VR/ARおよびインタラクティブグラフィックスアプリケーションのための新しいエルゴノミクス中心のデザインを動機付けることを願っている。
  論文  参考訳（メタデータ） (2023-08-28T18:58:01Z)
• Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering [58.720142291102135]
  バーチャルリアリティー用のヘッドマウントディスプレイ(HMD)は、VRにおける現実的な対面会話にかなりの障害をもたらす。 本稿では,低コストなハードウェアに焦点をあて,単一のGPUを用いたコモディティゲームコンピュータで使用できるアプローチを提案する。
  論文  参考訳（メタデータ） (2023-01-04T08:49:51Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• Attention based Occlusion Removal for Hybrid Telepresence Systems [5.006086647446482]
  本稿では,HMDデクルージョンのための新しいアテンション対応エンコーダデコーダアーキテクチャを提案する。 我々は,最先端手法よりも質的,定量的な結果が優れていることを報告した。 また,既存のアニメーションと3次元顔再構成パイプラインを用いたハイブリッドビデオ会議への本手法の適用について述べる。
  論文  参考訳（メタデータ） (2021-12-02T10:18:22Z)
• Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality [68.18446501943585]
  ソーシャルな存在は、バーチャルリアリティー(VR)におけるデジタル人間による次世代コミュニケーションシステムを支える 最高の3DビデオリアルVRアバターは、人固有の(PS)モデルに依存します。 本稿では,エンドツーエンドのマルチアイデンティティアーキテクチャを提案することで,これらの制限を克服する。
  論文  参考訳（メタデータ） (2021-04-10T15:48:53Z)
• Unmasking Communication Partners: A Low-Cost AI Solution for Digitally Removing Head-Mounted Displays in VR-Based Telepresence [62.997667081978825]
  バーチャルリアリティ(VR)における対面会話は、被験者がヘッドマウントディスプレイ(HMD)を装着する際の課題である 過去の研究では、高コストハードウェアを用いた実験室環境では、VRで個人用アバターを用いた高忠実な顔再構成が可能であることが示されている。 我々は,オープンソース,フリーソフトウェア,安価なハードウェアのみを利用する,このタスクのための最初の低コストシステムを提案する。
  論文  参考訳（メタデータ） (2020-11-06T23:17:12Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。