論文の概要: Towards Consumer-Grade Cybersickness Prediction: Multi-Model Alignment for Real-Time Vision-Only Inference

• arxiv url: http://arxiv.org/abs/2501.01212v3
• Date: Mon, 18 Aug 2025 01:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 12:43:44.842292
• Title: Towards Consumer-Grade Cybersickness Prediction: Multi-Model Alignment for Real-Time Vision-Only Inference
• Title（参考訳）: コンシューマグレードサイバーシック予測に向けて:リアルタイムビジョンオンリー推論のためのマルチモデルアライメント
• Authors: Yitong Zhu, Zhuowen Liang, Yiming Wu, Tangyao Li, Yuyang Wang,
• Abstract要約: サイバーシックネスは没入型バーチャルリアリティ(VR)の普及の大きな障害である 我々は、パーソナライズされたサイバーシックネス予測のためのスケーラブルでデプロイ可能なフレームワークを提案する。 当社のフレームワークは,コンシューマレベルのVRプラットフォームとの統合に理想的なリアルタイムアプリケーションをサポートしています。
• 参考スコア（独自算出の注目度）: 3.4667973471411853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cybersickness remains a major obstacle to the widespread adoption of immersive virtual reality (VR), particularly in consumer-grade environments. While prior methods rely on invasive signals such as electroencephalography (EEG) for high predictive accuracy, these approaches require specialized hardware and are impractical for real-world applications. In this work, we propose a scalable, deployable framework for personalized cybersickness prediction leveraging only non-invasive signals readily available from commercial VR headsets, including head motion, eye tracking, and physiological responses. Our model employs a modality-specific graph neural network enhanced with a Difference Attention Module to extract temporal-spatial embeddings capturing dynamic changes across modalities. A cross-modal alignment module jointly trains the video encoder to learn personalized traits by aligning video features with sensor-derived representations. Consequently, the model accurately predicts individual cybersickness using only video input during inference. Experimental results show our model achieves 88.4\% accuracy, closely matching EEG-based approaches (89.16\%), while reducing deployment complexity. With an average inference latency of 90ms, our framework supports real-time applications, ideal for integration into consumer-grade VR platforms without compromising personalization or performance. The code will be relesed at https://github.com/U235-Aurora/PTGNN.
• Abstract（参考訳）: サイバーシックネスは、特に消費者向けの環境において、没入型バーチャルリアリティ(VR)の普及の大きな障害となっている。 従来の手法では、高い予測精度で脳波などの侵襲的な信号に頼っていたが、これらの手法には特別なハードウェアが必要であり、現実の応用には実用的ではない。 本研究では,頭部運動,視線追跡,生理的応答など,商用VRヘッドセットから利用可能な非侵襲的な信号のみを活用する,パーソナライズされたサイバーシックネス予測のためのスケーラブルでデプロイ可能なフレームワークを提案する。 本モデルでは,モーダリティ間の動的変化を捉えた時間空間埋め込みを抽出するために,差分アテンションモジュールによって強化されたモーダリティ特異的グラフニューラルネットワークを用いる。 クロスモーダルアライメントモジュールはビデオエンコーダを共同でトレーニングし、ビデオ特徴とセンサ由来の表現を整列させることでパーソナライズされた特徴を学習する。 これにより、推論中のビデオ入力のみを用いて、個別のサイバーシックを正確に予測する。 実験結果から,脳波に基づくアプローチ(89.16\%)と密に一致し,デプロイメントの複雑さを低減し,88.4\%の精度を実現した。 平均推論レイテンシは90msであり、当社のフレームワークはリアルタイムアプリケーションをサポートし、パーソナライズやパフォーマンスを損なうことなく、コンシューマレベルのVRプラットフォームに統合するのに理想的です。 コードはhttps://github.com/U235-Aurora/PTGNNで更新される。

関連論文リスト

• Securing Virtual Reality Experiences: Unveiling and Tackling Cybersickness Attacks with Explainable AI [2.076342899890871]
  我々は、サイバーシックネス攻撃(サイバーシックネス攻撃)と呼ばれる新しいタイプのVR攻撃を提示し、サイバーシックネス緩和の引き金となる。 本稿では,この攻撃を検出するための,XAI誘導型サイバーシック攻撃検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-17T17:49:51Z)
• Mazed and Confused: A Dataset of Cybersickness, Working Memory, Mental Load, Physical Load, and Attention During a Real Walking Task in VR [11.021668923244803]
  認知活動、身体活動、およびサイバーシックネスの親しみやすい感情との関係はよく理解されていない。 頭部の向き,頭部の位置,視線追跡,画像,外部センサーからの生理的読影,自己報告されたサイバーシック度,身体負荷,心的負荷をVRで収集した。
  論文  参考訳（メタデータ） (2024-09-10T22:41:14Z)
• Cybersickness Detection through Head Movement Patterns: A Promising Approach [1.1562071835482226]
  本研究では,サイバーシック検出のための新しい生理指標としての頭部運動パターンについて検討する。 頭部の動きは、あらゆる商用VRヘッドセットに埋め込まれたセンサーを通して簡単に捉えられる、連続的で非侵襲的な測定手段を提供する。
  論文  参考訳（メタデータ） (2024-02-05T04:49:59Z)
• Deep Motion Masking for Secure, Usable, and Scalable Real-Time Anonymization of Virtual Reality Motion Data [49.68609500290361]
  最近の研究では、ほぼすべてのVRアプリケーションで使われているモーショントラッキングの「テレメトリ」データが、指紋スキャンと同じくらいに識別可能であることが示されている。 本稿では、既知の防御対策を確実に回避できる最先端のVR識別モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T01:34:22Z)
• LiteVR: Interpretable and Lightweight Cybersickness Detection using Explainable AI [1.1470070927586016]
  サイバーシックネス(Cybersickness)は、仮想現実(VR)ユーザーエクスペリエンスに関連する一般的な障害である。 我々はサイバーシック検出のための説明可能な人工知能(XAI)ベースのフレームワーク LiteVR を提案する。
  論文  参考訳（メタデータ） (2023-02-05T21:51:12Z)
• VR-LENS: Super Learning-based Cybersickness Detection and Explainable AI-Guided Deployment in Virtual Reality [1.9642496463491053]
  本研究は、サイバーシック検出MLモデルを開発するための、説明可能な人工知能(XAI)ベースのフレームワークであるVR-LENSを提案する。 我々はまず,サイバーシック検出のための新しいスーパーラーニングベースのアンサンブルMLモデルを開発した。 本手法は, 眼球運動, プレイヤー位置, ガルバニックスキン/ハートレート応答を, 統合センサ, ゲームプレイ, 生体生理学的データセットの最も重要な特徴として同定した。
  論文  参考訳（メタデータ） (2023-02-03T20:15:51Z)
• Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
  我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。 我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。 今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
  論文  参考訳（メタデータ） (2022-10-03T20:51:25Z)
• TruVR: Trustworthy Cybersickness Detection using Explainable Machine Learning [1.9642496463491053]
  サイバーシックネスは、バーチャルリアリティ(VR)システムを使用する際に、吐き気、めまい、頭痛、目の緊張、その他の不快感によって特徴づけられる。 以前報告された機械学習(ML)とディープラーニング(DL)アルゴリズムは、ブラックボックスモデルを使用してVRサイバーシックの検出(分類)と予測(回帰)を行う。 サイバーシックを検知し,予測するための3つの説明可能な機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-09-12T13:55:13Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder [93.0013343535411]
  本稿では,コンピュータビジョンと深部畳み込みニューラルネットワーク(CNN)を組み合わせたマルチモーダル拡張現実(AR)システムの開発について述べる。 提案システムはAIGISと呼ばれ,タブレット,スマートフォン,ビデオ会議システム,スマートグラスなど,さまざまなユーザデバイスにデプロイ可能な支援技術である。 我々は空間情報と時間情報の両方を活用して正確な表現予測を行い、それを対応する可視化に変換し、元のビデオフレーム上に描画する。
  論文  参考訳（メタデータ） (2020-10-22T17:20:38Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。