論文の概要: Full Body Video-Based Self-Avatars for Mixed Reality: from E2E System to User Study

• arxiv url: http://arxiv.org/abs/2208.12639v1
• Date: Wed, 24 Aug 2022 20:59:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:06:31.582371
• Title: Full Body Video-Based Self-Avatars for Mixed Reality: from E2E System to User Study
• Title（参考訳）: 複合現実感のためのフルボディビデオベースセルフアバター:E2Eシステムからユーザスタディへ
• Authors: Diego Gonzalez Morin, Ester Gonzalez-Sosa, Pablo Perez, and Alvaro Villegas
• Abstract要約: この研究は、Mixed Reality(MR)アプリケーションにおけるビデオパススルーによるセルフアバターの作成について検討する。 商用ヘッドマウントディスプレイ(HMD)のMRビデオパススルー実装を含むエンド・ツー・エンドシステムを提案する。 この技術を検証するために、私たちは没入型VR体験を設計しました。
• 参考スコア（独自算出の注目度）: 1.0149624140985476
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work we explore the creation of self-avatars through video pass-through in Mixed Reality (MR) applications. We present our end-to-end system, including: custom MR video pass-through implementation on a commercial head mounted display (HMD), our deep learning-based real-time egocentric body segmentation algorithm, and our optimized offloading architecture, to communicate the segmentation server with the HMD. To validate this technology, we designed an immersive VR experience where the user has to walk through a narrow tiles path over an active volcano crater. The study was performed under three body representation conditions: virtual hands, video pass-through with color-based full-body segmentation and video pass-through with deep learning full-body segmentation. This immersive experience was carried out by 30 women and 28 men. To the best of our knowledge, this is the first user study focused on evaluating video-based self-avatars to represent the user in a MR scene. Results showed no significant differences between the different body representations in terms of presence, with moderate improvements in some Embodiment components between the virtual hands and full-body representations. Visual Quality results showed better results from the deep-learning algorithms in terms of the whole body perception and overall segmentation quality. We provide some discussion regarding the use of video-based self-avatars, and some reflections on the evaluation methodology. The proposed E2E solution is in the boundary of the state of the art, so there is still room for improvement before it reaches maturity. However, this solution serves as a crucial starting point for novel MR distributed solutions.
• Abstract（参考訳）: 本研究は,mr(mixed reality)アプリケーションにおけるビデオパススルーを通じて,自己ヴァタールの創造について検討する。 商用ヘッドマウントディスプレイ(HMD)上のカスタムMRビデオパススルー実装、ディープラーニングに基づくリアルタイムエゴセントリックボディセグメンテーションアルゴリズム、および最適化されたオフロードアーキテクチャ、を含むエンドツーエンドシステムについて述べる。 この技術を検証するために私たちは、ユーザが活火山のクレーターの上の狭いタイルの道を歩かなければならない没入型vr体験をデザインしました。 本研究は,3つの身体表現条件(バーチャルハンド,カラーベースフルボディセグメンテーションによるビデオパススルー,ディープラーニングフルボディセグメンテーションによるビデオパススルー)で実施した。 この経験は30人の女性と28人の男性によって行われた。 我々の知る限りでは、MRシーンにおけるユーザを表現するためのビデオベースのセルフアバターの評価に焦点を当てた初めてのユーザスタディである。 その結果, 身体表現に有意差は認められなかったが, 仮想手と全身表現の間には中程度の改善が見られた。 視覚的品質は、全体知覚と全体セグメント化品質の観点から、ディープラーニングアルゴリズムによるより良い結果を示した。 我々は,ビデオベースのセルフアバターの使用に関する議論と,その評価方法についての考察を行った。 提案されたE2Eソリューションは、最先端技術の境界にあるため、成熟するまでに改善の余地は残っている。 しかしながら、このソリューションは、新しいmr分散ソリューションの重要な出発点となる。

関連論文リスト

• EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
  本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。 提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
  論文  参考訳（メタデータ） (2024-09-22T22:50:27Z)
• Learning High-Quality Navigation and Zooming on Omnidirectional Images in Virtual Reality [37.564863636844905]
  我々は,VRナビゲーションにおける視覚的明瞭度を高めるために,OmniVRと呼ばれる新しいシステムを提案する。 当社のシステムでは,VRに関心のある対象を,ユーザーが自由に見つけてズームインすることができる。
  論文  参考訳（メタデータ） (2024-05-01T07:08:24Z)
• POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World [59.545114016224254]
  人間は、手と物体の相互作用の第三者による観察をエゴセントリックな視点に変換するのに長けている。 本稿では,自我中心の動画をほとんど持たない視点適応を実現するための,Prompt-Oriented View-Agnostic Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T09:54:44Z)
• 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
  我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。 本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。 私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
  論文  参考訳（メタデータ） (2023-12-30T21:21:54Z)
• Early Action Recognition with Action Prototypes [62.826125870298306]
  本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。 映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。 その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
  論文  参考訳（メタデータ） (2023-12-11T18:31:13Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• Real Time Egocentric Segmentation for Video-self Avatar in Mixed Reality [0.946046736912201]
  提案アルゴリズムは,Thundernetのアーキテクチャにインスパイアされた浅いネットワークにより,66fpsのフレームレートで640x480の入力解像度を実現している。 3つのデータセットから約10,000の画像で構成されたEgocentric Bodiesデータセットの作成プロセスについて述べる。
  論文  参考訳（メタデータ） (2022-07-04T10:00:16Z)
• Stereo Video Reconstruction Without Explicit Depth Maps for Endoscopic Surgery [37.531587409884914]
  本研究は,低侵襲手術用2D-to-3Dビデオ変換の課題について紹介する。 このタスクのために、エンド・ツー・エンドのU-Netベースの一連のソリューションを設計、実装する。 内視鏡下手術を日常的に行う外科医10名を対象に,これらのソリューションの評価を行った。
  論文  参考訳（メタデータ） (2021-09-16T21:22:43Z)
• Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning [0.0]
  畳み込みニューラルネットワークに基づくアプローチは、顔認識タスクに適用可能であることが証明されたため、広く採用されている。 しかし、頭部に装着したVRヘッドセットを装着して顔を認識することは、顔の上半分が完全に隠されているため、難しい作業である。 既存のFERデータセットに適用可能なSamsung Gear VRヘッドセットによる閉塞をシミュレートする幾何学的モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-12T20:25:07Z)
• EmotiCon: Context-Aware Multimodal Emotion Recognition using Frege's Principle [71.47160118286226]
  EmotiConは、ビデオや画像から知覚された人間の感情認識をコンテキスト認識する学習アルゴリズムである。 心理学からフレーゲの文脈原理に動機づけられた我々のアプローチは、感情認識のための文脈の3つの解釈を組み合わせたものである。 平均精度 (AP) スコアは26クラスで35.48であり, 従来の手法よりも7-8の改善が見られた。
  論文  参考訳（メタデータ） (2020-03-14T19:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。