論文の概要: MetaFi: Device-Free Pose Estimation via Commodity WiFi for Metaverse
Avatar Simulation
- arxiv url: http://arxiv.org/abs/2208.10414v1
- Date: Mon, 22 Aug 2022 15:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:41:12.541799
- Title: MetaFi: Device-Free Pose Estimation via Commodity WiFi for Metaverse
Avatar Simulation
- Title(参考訳): metafi:メタバースアバターシミュレーションのためのコモディティwifiを用いたデバイスフリーポーズ推定
- Authors: Jianfei Yang, Yunjiao Zhou, He Huang, Han Zou, Lihua Xie
- Abstract要約: WiFiはユビキタスで、照明にも頑丈で、スマートホームのアバターアプリケーションにとって実現可能なソリューションだ。
ディープニューラルネットワークは、人間のポーズランドマークにチャネル状態情報をマッピングするために、カスタマイズされた畳み込み層と残留ブロックで設計されている。
実世界で実験が行われ、その結果、MetaFiは95.23%のPCK@50で非常に高い性能を達成した。
- 参考スコア(独自算出の注目度): 35.1943579208943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Avatar refers to a representative of a physical user in the virtual world
that can engage in different activities and interact with other objects in
metaverse. Simulating the avatar requires accurate human pose estimation.
Though camera-based solutions yield remarkable performance, they encounter the
privacy issue and degraded performance caused by varying illumination,
especially in smart home. In this paper, we propose a WiFi-based IoT-enabled
human pose estimation scheme for metaverse avatar simulation, namely MetaFi.
Specifically, a deep neural network is designed with customized convolutional
layers and residual blocks to map the channel state information to human pose
landmarks. It is enforced to learn the annotations from the accurate computer
vision model, thus achieving cross-modal supervision. WiFi is ubiquitous and
robust to illumination, making it a feasible solution for avatar applications
in smart home. The experiments are conducted in the real world, and the results
show that the MetaFi achieves very high performance with a PCK@50 of 95.23%.
- Abstract(参考訳): アバター(Avatar)とは、仮想世界において、異なる活動に従事し、メタバースで他のオブジェクトと対話できる物理ユーザーの代表である。
アバターのシミュレーションには正確な人間のポーズ推定が必要である。
カメラベースのソリューションは優れたパフォーマンスをもたらすが、プライバシー問題に遭遇し、特にスマートホームにおいて様々な照明が原因でパフォーマンスが低下した。
本稿では、メタバースアバターシミュレーション、すなわちMetaFiのためのWiFiベースのIoT対応ヒューマンポーズ推定手法を提案する。
具体的には、ディープニューラルネットワークは、カスタマイズされた畳み込み層と残留ブロックで設計され、チャネル状態情報を人間のポーズランドマークにマップする。
正確なコンピュータビジョンモデルからアノテーションを学ぶことが義務付けられ、クロスモーダル監督を実現している。
WiFiはユビキタスで、照明にも頑丈で、スマートホームのアバターアプリケーションにとって実現可能なソリューションだ。
実験は現実世界で行われ、MetaFiは95.23%のPCK@50で非常に高い性能を達成している。
関連論文リスト
- POSE: Pose estimation Of virtual Sync Exhibit system [0.0]
その動機は、フィットネスリングで遊ぶときにジョイスティックやセンサーを使うのが不便であることです。
ジョイスティックを交換し,コストを削減するために,仮想アバターをポーズ推定により制御し,実際の人の動きを識別するプラットフォームを開発した。
論文 参考訳(メタデータ) (2024-10-20T09:34:15Z) - EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars [56.56236652774294]
本研究では,光合成デジタルアバターを共同でモデル化し,同時に1つの自我中心映像から駆動する人物中心型テレプレゼンス手法を提案する。
提案手法は,エゴセントリック・フォトリアル・テレプレゼンスへの明確な一歩として,ベースラインと競合する手法に優れることを示す。
論文 参考訳(メタデータ) (2024-09-22T22:50:27Z) - Vision Reimagined: AI-Powered Breakthroughs in WiFi Indoor Imaging [4.236383297604285]
全方位信号としてのWiFiは、受動的撮像を行い、最新の情報をすべての接続デバイスに同期させる有望な候補である。
これは、WiFi屋内イメージングを、計測されたWiFi電力を高解像度の屋内画像に変換するマルチモーダル画像生成タスクとして考える最初の研究である。
提案するWiFi-GENネットワークは,物理モデルに基づく手法で実現した形状復元精度の275%を達成している。
論文 参考訳(メタデータ) (2024-01-09T02:20:30Z) - Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。
本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。
アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
論文 参考訳(メタデータ) (2023-07-04T21:57:05Z) - AvatarPoser: Articulated Full-Body Pose Tracking from Sparse Motion
Sensing [24.053096294334694]
AvatarPoserは、ユーザの頭と手の動きのみを入力として、世界座標におけるフルボディポーズを予測する最初の学習ベースの方法である。
提案手法はTransformerエンコーダ上に構築され,入力信号から深い特徴を抽出し,学習した局所的な関節方向からグローバルな動きを分離する。
我々の評価では、AvatarPoserは大規模なモーションキャプチャーデータセットの評価において、新しい最先端の結果を得た。
論文 参考訳(メタデータ) (2022-07-27T20:52:39Z) - Drivable Volumetric Avatars using Texel-Aligned Features [52.89305658071045]
光テレプレゼンスは、動的に合成された外観を実現するために、高忠実度ボディモデリングと忠実な運転の両方を必要とする。
本稿では,現実人のフルボディアバターをモデリングし,駆動する際の2つの課題に対処するエンドツーエンドフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-20T09:28:16Z) - Edge-enabled Metaverse: The Convergence of Metaverse and Mobile Edge
Computing [6.335949956497453]
最先端のMetaverseアーキテクチャは、アバター物理エミュレーションとグラフィックレンダリング計算のためのクラウドベースのアプローチに依存している。
本稿では,エッジ対応分散コンピューティングパラダイムを活用したメタバースアプリケーションのためのFog-Edgeハイブリッドコンピューティングアーキテクチャを提案する。
提案アーキテクチャは,従来のクラウドベースのMetaverseアプリケーションと比較して,レイテンシを50%削減できることを示す。
論文 参考訳(メタデータ) (2022-04-13T11:38:57Z) - EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。
このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。
レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
論文 参考訳(メタデータ) (2021-11-24T18:33:02Z) - Pixel Codec Avatars [99.36561532588831]
Pixel Codec Avatars(PiCA)は、3D人間の顔の深い生成モデルです。
oculus quest 2のモバイルvrヘッドセットでは、同じシーンで5つのアバターがリアルタイムでレンダリングされる。
論文 参考訳(メタデータ) (2021-04-09T23:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。