論文の概要: Real-time Cross-modal Cybersickness Prediction in Virtual Reality
- arxiv url: http://arxiv.org/abs/2501.01212v1
- Date: Thu, 02 Jan 2025 11:41:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:12:31.837239
- Title: Real-time Cross-modal Cybersickness Prediction in Virtual Reality
- Title（参考訳）: バーチャルリアリティにおけるリアルタイムクロスモーダルサイバーシック予測
- Authors: Yitong Zhu, Tangyao Li, Yuyang Wang,
- Abstract要約: サイバーシックネスは、没入型バーチャルリアリティ(VR)体験の普及にとって重要な障壁であり続けている。
本稿では,生体信号の特徴を処理する軽量モデルと,映像特徴抽出のためのPP-TSNネットワークを提案する。
本モデルは,眼・頭部追跡データ,生理的データ,VR映像を含む公開データセットを用いて,サイバーシックネス予測の最先端性能を実証した。
- 参考スコア（独自算出の注目度）: 2.865152517440773
- License:
- Abstract: Cybersickness remains a significant barrier to the widespread adoption of immersive virtual reality (VR) experiences, as it can greatly disrupt user engagement and comfort. Research has shown that cybersickness can significantly be reflected in head and eye tracking data, along with other physiological data (e.g., TMP, EDA, and BMP). Despite the application of deep learning techniques such as CNNs and LSTMs, these models often struggle to capture the complex interactions between multiple data modalities and lack the capacity for real-time inference, limiting their practical application. Addressing this gap, we propose a lightweight model that leverages a transformer-based encoder with sparse self-attention to process bio-signal features and a PP-TSN network for video feature extraction. These features are then integrated via a cross-modal fusion module, creating a video-aware bio-signal representation that supports cybersickness prediction based on both visual and bio-signal inputs. Our model, trained with a lightweight framework, was validated on a public dataset containing eye and head tracking data, physiological data, and VR video, and demonstrated state-of-the-art performance in cybersickness prediction, achieving a high accuracy of 93.13\% using only VR video inputs. These findings suggest that our approach not only enables effective, real-time cybersickness prediction but also addresses the longstanding issue of modality interaction in VR environments. This advancement provides a foundation for future research on multimodal data integration in VR, potentially leading to more personalized, comfortable and widely accessible VR experiences.
- Abstract（参考訳）: サイバーシックネスは、没入型バーチャルリアリティ(VR)体験の普及にとって重要な障壁であり、ユーザーのエンゲージメントと快適さを著しく損なう可能性がある。
研究によると、サイバーシック性は他の生理的データ(例えば、TMP、EDA、BMP)とともに、頭と目の追跡データに顕著に反映できる。
CNNやLSTMといったディープラーニング技術の適用にもかかわらず、これらのモデルは複数のデータモダリティ間の複雑な相互作用を捉えるのに苦労し、リアルタイム推論の能力に欠け、実用的な応用を制限している。
このギャップに対処するため,トランスフォーマーをベースとした低アテンションのエンコーダを用いて生体信号の処理を行う軽量モデルと,映像特徴抽出のためのPP-TSNネットワークを提案する。
これらの機能は、クロスモーダル融合モジュールを通じて統合され、視覚的および生体信号入力の両方に基づいてサイバーシックネス予測をサポートする、ビデオ対応のバイオ信号表現を生成する。
本モデルは,視線と頭部追跡データ,生理的データ,VR映像を含む公開データセットを用いて,サイバーシックネス予測における最先端性能を実証し,VR映像入力のみを用いて93.13\%の精度を達成した。
これらの結果から,本手法は実時間サイバーシックネス予測を可能にするだけでなく,VR環境における長年にわたるモダリティインタラクションの問題にも対処できる可能性が示唆された。
この進歩は、将来のVRにおけるマルチモーダルデータ統合の研究の基礎となり、よりパーソナライズされ、快適で、広くアクセス可能なVR体験につながる可能性がある。
関連論文リスト
- Mazed and Confused: A Dataset of Cybersickness, Working Memory, Mental Load, Physical Load, and Attention During a Real Walking Task in VR [11.021668923244803]
認知活動、身体活動、およびサイバーシックネスの親しみやすい感情との関係はよく理解されていない。
頭部の向き,頭部の位置,視線追跡,画像,外部センサーからの生理的読影,自己報告されたサイバーシック度,身体負荷,心的負荷をVRで収集した。
論文 参考訳（メタデータ） (2024-09-10T22:41:14Z) - Deep Motion Masking for Secure, Usable, and Scalable Real-Time Anonymization of Virtual Reality Motion Data [49.68609500290361]
最近の研究では、ほぼすべてのVRアプリケーションで使われているモーショントラッキングの「テレメトリ」データが、指紋スキャンと同じくらいに識別可能であることが示されている。
本稿では、既知の防御対策を確実に回避できる最先端のVR識別モデルを提案する。
論文 参考訳（メタデータ） (2023-11-09T01:34:22Z) - LiteVR: Interpretable and Lightweight Cybersickness Detection using
Explainable AI [1.1470070927586016]
サイバーシックネス(Cybersickness)は、仮想現実(VR)ユーザーエクスペリエンスに関連する一般的な障害である。
我々はサイバーシック検出のための説明可能な人工知能(XAI)ベースのフレームワーク LiteVR を提案する。
論文 参考訳（メタデータ） (2023-02-05T21:51:12Z) - VR-LENS: Super Learning-based Cybersickness Detection and Explainable
AI-Guided Deployment in Virtual Reality [1.9642496463491053]
本研究は、サイバーシック検出MLモデルを開発するための、説明可能な人工知能(XAI)ベースのフレームワークであるVR-LENSを提案する。
我々はまず,サイバーシック検出のための新しいスーパーラーニングベースのアンサンブルMLモデルを開発した。
本手法は, 眼球運動, プレイヤー位置, ガルバニックスキン/ハートレート応答を, 統合センサ, ゲームプレイ, 生体生理学的データセットの最も重要な特徴として同定した。
論文 参考訳（メタデータ） (2023-02-03T20:15:51Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳（メタデータ） (2022-10-03T20:51:25Z) - TruVR: Trustworthy Cybersickness Detection using Explainable Machine
Learning [1.9642496463491053]
サイバーシックネスは、バーチャルリアリティ(VR)システムを使用する際に、吐き気、めまい、頭痛、目の緊張、その他の不快感によって特徴づけられる。
以前報告された機械学習(ML)とディープラーニング(DL)アルゴリズムは、ブラックボックスモデルを使用してVRサイバーシックの検出(分類)と予測(回帰)を行う。
サイバーシックを検知し,予測するための3つの説明可能な機械学習モデルを提案する。
論文 参考訳（メタデータ） (2022-09-12T13:55:13Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Synthesizing Skeletal Motion and Physiological Signals as a Function of
a Virtual Human's Actions and Emotions [10.59409233835301]
本研究では, 同期運動, 心電図, 血圧, 呼吸, 皮膚伝導信号の計算モデルからなるシステムを開発した。
提案されたフレームワークはモジュール化されており、柔軟性によってさまざまなモデルを試すことができる。
ラウンド・ザ・タイム・モニタリングのためのML研究を低コストで行うことに加えて、提案されたフレームワークはコードとデータの再利用を可能にする。
論文 参考訳（メタデータ） (2021-02-08T21:56:15Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - AEGIS: A real-time multimodal augmented reality computer vision based
system to assist facial expression recognition for individuals with autism
spectrum disorder [93.0013343535411]
本稿では,コンピュータビジョンと深部畳み込みニューラルネットワーク(CNN)を組み合わせたマルチモーダル拡張現実(AR)システムの開発について述べる。
提案システムはAIGISと呼ばれ,タブレット,スマートフォン,ビデオ会議システム,スマートグラスなど,さまざまなユーザデバイスにデプロイ可能な支援技術である。
我々は空間情報と時間情報の両方を活用して正確な表現予測を行い、それを対応する可視化に変換し、元のビデオフレーム上に描画する。
論文 参考訳（メタデータ） (2020-10-22T17:20:38Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。