論文の概要: Predictive Context-Awareness for Full-Immersive Multiuser Virtual
Reality with Redirected Walking
- arxiv url: http://arxiv.org/abs/2303.17907v4
- Date: Mon, 29 May 2023 13:41:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 00:58:41.464572
- Title: Predictive Context-Awareness for Full-Immersive Multiuser Virtual
Reality with Redirected Walking
- Title(参考訳): リダイレクトウォーキングによるフル没入型マルチユーザーバーチャルリアリティの予測コンテキスト認識
- Authors: Filip Lemic, Jakob Struye, Thomas Van Onsem, Jeroen Famaey, Xavier
Costa Perez
- Abstract要約: 将来のVRシステムはミリ波(mmWave)周波数で動作する無線ネットワークインフラをサポートする必要がある。
本稿では,送信機と受信機側ビームフォーミングとビームステアリングを最適化するために,予測文脈認識の利用を提案する。
長短短期記憶(LSTM)ネットワークは横方向の動きを予測する上で有望な精度を特徴とすることを示す。
- 参考スコア(独自算出の注目度): 5.393569497095572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of Virtual Reality (VR) technology is focused on improving
its immersiveness, supporting multiuser Virtual Experiences (VEs), and enabling
users to move freely within their VEs while remaining confined to specialized
VR setups through Redirected Walking (RDW). To meet their extreme data-rate and
latency requirements, future VR systems will require supporting wireless
networking infrastructures operating in millimeter Wave (mmWave) frequencies
that leverage highly directional communication in both transmission and
reception through beamforming and beamsteering. We propose the use of
predictive context-awareness to optimize transmitter and receiver-side
beamforming and beamsteering. By predicting users' short-term lateral movements
in multiuser VR setups with Redirected Walking (RDW), transmitter-side
beamforming and beamsteering can be optimized through Line-of-Sight (LoS)
"tracking" in the users' directions. At the same time, predictions of
short-term orientational movements can be utilized for receiver-side
beamforming for coverage flexibility enhancements. We target two open problems
in predicting these two context information instances: i) predicting lateral
movements in multiuser VR settings with RDW, and ii) generating synthetic head
rotation datasets for training orientational movements predictors. Our
experimental results demonstrate that Long Short-Term Memory (LSTM) networks
feature promising accuracy in predicting lateral movements, and
context-awareness stemming from VEs further enhances this accuracy.
Additionally, we show that a TimeGAN-based approach for orientational data
generation can create synthetic samples that closely match experimentally
obtained ones.
- Abstract(参考訳): 仮想現実(VR)技術の進歩は、没入性の向上、マルチユーザバーチャルエクスペリエンス(VE)のサポート、ユーザがVE内で自由に動きながら、リダイレクトウォーキング(RDW)を通じて専門のVRセットアップに制限されることを可能にすることに焦点を当てている。
極端なデータレートとレイテンシの要件を満たすため、将来のVRシステムは、ビームフォーミングとビームステアリングによる送信と受信の両方で高い指向性通信を利用するミリ波(mmWave)周波数で動作する無線ネットワークインフラストラクチャをサポートする必要がある。
本稿では,送信機と受信機側のビームフォーミングとビームステアリングを最適化するための予測文脈認識手法を提案する。
リダイレクトウォーキング(rdw)によるマルチユーザvrセットアップにおけるユーザの短期的横動きを予測することにより、送信側ビームフォーミングとビームステアリングを、ユーザの方向の視線(los)「トラッキング」により最適化することができる。
同時に、範囲の柔軟性向上のために、受信側ビームフォーミングに短期方向移動の予測を利用することができる。
これら2つのコンテキスト情報インスタンスの予測における2つのオープン問題を対象としています。
一 RDWによるマルチユーザーVR設定における横動きの予測及び
二 方位運動予測器の訓練のための合成頭部回転データセットの作成
実験の結果,long short-term memory (lstm) ネットワークは側方運動の予測に有望な精度を発揮でき,vesによる文脈認識はこの精度をさらに向上させることがわかった。
さらに, 配向データ生成のためのTimeGANに基づく手法により, 実験により得られたデータと密に一致した合成サンプルを作成できることを示す。
関連論文リスト
- Radar-Based Recognition of Static Hand Gestures in American Sign
Language [17.021656590925005]
本研究では,先進レーダ線トレーシングシミュレータによる合成データの有効性について検討した。
シミュレータは直感的な材料モデルを採用し、データ多様性を導入するように調整することができる。
NNを合成データで専用にトレーニングしているにもかかわらず、実際の測定データでテストを行うと、有望な性能を示す。
論文 参考訳(メタデータ) (2024-02-20T08:19:30Z) - Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。
無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。
我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
論文 参考訳(メタデータ) (2023-12-18T13:51:56Z) - Joint Sensing, Communication, and AI: A Trifecta for Resilient THz User
Experiences [118.91584633024907]
テラヘルツ(THz)無線システムに対する拡張現実(XR)体験を最適化するために、新しい共同センシング、通信、人工知能(AI)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-29T00:39:50Z) - F-RDW: Redirected Walking with Forecasting Future Position [2.257416403770908]
本研究では,(1)仮想空間におけるユーザの将来情報を仮定せずに予測し,(2)既存のRDW手法を操作しながら,その情報を融合させるメカニズムF-RDWを提案する。
最初のステップのバックボーンはLSTMベースのモデルで、ユーザの空間的および視線追跡データを取り込み、仮想空間におけるユーザの将来の位置を予測する。
提案手法は,リセット数を大幅に削減し,リセット間の移動距離を増大させる。
論文 参考訳(メタデータ) (2023-04-07T06:37:17Z) - WiserVR: Semantic Communication Enabled Wireless Virtual Reality
Delivery [12.158124978097982]
本稿では,VRユーザに対して連続した360度ビデオフレームを提供するための,Wireless SEmantic deliveRy for VR(WiserVR)という新しいフレームワークを提案する。
ディープラーニングベースの複数のモジュールは、WiserVRのトランシーバとしてよく設計されており、高性能な特徴抽出とセマンティックリカバリを実現している。
論文 参考訳(メタデータ) (2022-11-02T16:22:41Z) - Motion Transformer with Global Intention Localization and Local Movement
Refinement [103.75625476231401]
動き TRansformer (MTR) は、大域的意図の局所化と局所的な動きの洗練の合同最適化として、動き予測をモデル化する。
MTRは、限界運動予測と関節運動予測の両方において最先端の性能を達成する。
論文 参考訳(メタデータ) (2022-09-27T16:23:14Z) - Short-Term Trajectory Prediction for Full-Immersive Multiuser Virtual
Reality with Redirected Walking [6.622115542749609]
完全没入型マルチユーザーバーチャルリアリティ(VR)は、仮想世界のユーザの制約のないモビリティをサポートすることを想定している。
RNN ファミリーの別の候補である Gated Recurrent Unit (GRU) ネットワークは、一般的に従来の LSTM よりも優れていることを示す。
第2に、仮想世界からのコンテキストは、追加の入力機能として使用すれば、予測の精度を高めることができることを示す。
論文 参考訳(メタデータ) (2022-07-15T15:09:07Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳(メタデータ) (2022-03-11T01:51:54Z) - Feeling of Presence Maximization: mmWave-Enabled Virtual Reality Meets
Deep Reinforcement Learning [76.46530937296066]
本稿では,無線モバイルユーザに対して,超信頼性でエネルギー効率のよいバーチャルリアリティ(VR)体験を提供するという課題について検討する。
モバイルユーザへの信頼性の高い超高精細ビデオフレーム配信を実現するために,コーディネートマルチポイント(CoMP)伝送技術とミリ波(mmWave)通信を利用する。
論文 参考訳(メタデータ) (2021-06-03T08:35:10Z) - Learning-based Prediction and Uplink Retransmission for Wireless Virtual
Reality (VR) Network [29.640073851481066]
本稿では、オフラインおよびオンライン学習アルゴリズムを用いて、実際のvrデータセットを用いて、vrユーザの視点を予測する。
提案手法は,無線VRネットワークを有効再送信方式で接続するオンライン学習アルゴリズムでは,約5%の予測誤差しか示さない。
論文 参考訳(メタデータ) (2020-12-16T18:31:05Z) - Applying Deep-Learning-Based Computer Vision to Wireless Communications:
Methodologies, Opportunities, and Challenges [100.45137961106069]
ディープラーニング(DL)はコンピュータビジョン(CV)分野で大きな成功を収めている。
本稿では,無線通信におけるDLベースのCVの適用について紹介する。
論文 参考訳(メタデータ) (2020-06-10T11:37:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。