論文の概要: Gaze Prediction in Virtual Reality Without Eye Tracking Using Visual and Head Motion Cues
- arxiv url: http://arxiv.org/abs/2601.18372v1
- Date: Mon, 26 Jan 2026 11:26:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:08.792006
- Title: Gaze Prediction in Virtual Reality Without Eye Tracking Using Visual and Head Motion Cues
- Title(参考訳): 視覚・頭部動作キューを用いた視線追跡のないバーチャルリアリティにおける視線予測
- Authors: Christos Petrou, Harris Partaourides, Athanasios Balomenos, Yannis Kopsinis, Sotirios Chatzis,
- Abstract要約: 本稿では,HMD(Head-Mounted Display)モーション信号と映像フレームから派生した視覚的サリエンシキューを組み合わせた新しい視線予測フレームワークを提案する。
本手法では,軽量な唾液エンコーダであるUniSalを用いて視覚的特徴を抽出し,その特徴をHMDモーションデータと融合させて時系列予測モジュールで処理する。
EHTaskデータセットの実験は、商用VRハードウェアへの展開とともに、私たちのアプローチがCenter-of-HMDやMean Gazeといったベースラインを一貫して上回っていることを示している。
- 参考スコア(独自算出の注目度): 3.4383905541567583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaze prediction plays a critical role in Virtual Reality (VR) applications by reducing sensor-induced latency and enabling computationally demanding techniques such as foveated rendering, which rely on anticipating user attention. However, direct eye tracking is often unavailable due to hardware limitations or privacy concerns. To address this, we present a novel gaze prediction framework that combines Head-Mounted Display (HMD) motion signals with visual saliency cues derived from video frames. Our method employs UniSal, a lightweight saliency encoder, to extract visual features, which are then fused with HMD motion data and processed through a time-series prediction module. We evaluate two lightweight architectures, TSMixer and LSTM, for forecasting future gaze directions. Experiments on the EHTask dataset, along with deployment on commercial VR hardware, show that our approach consistently outperforms baselines such as Center-of-HMD and Mean Gaze. These results demonstrate the effectiveness of predictive gaze modeling in reducing perceptual lag and enhancing natural interaction in VR environments where direct eye tracking is constrained.
- Abstract(参考訳): ゲーズ予測は,センサによる遅延を低減し,ユーザの注意を期待するフェーブ付きレンダリングなどの計算要求技術を実現することで,仮想現実(VR)アプリケーションにおいて重要な役割を担っている。
しかし、ハードウェアの制限やプライバシー上の懸念のため、直接視線追跡は利用できないことが多い。
そこで本研究では,HMD(Head-Mounted Display)モーション信号と映像フレームからの視覚的サリエンシの手がかりを組み合わせた,新しい視線予測フレームワークを提案する。
本手法では,軽量な唾液エンコーダであるUniSalを用いて視覚的特徴を抽出し,その特徴をHMDモーションデータと融合させて時系列予測モジュールで処理する。
我々は、将来の視線方向を予測するために、TSMixerとLSTMの2つの軽量アーキテクチャを評価した。
EHTaskデータセットの実験は、商用VRハードウェアへの展開とともに、私たちのアプローチがCenter-of-HMDやMean Gazeといったベースラインを一貫して上回っていることを示している。
これらの結果は、直接視線追跡が制限されたVR環境において、知覚遅延の低減と自然な相互作用を高めるための予測的な視線モデリングの有効性を示す。
関連論文リスト
- GazeProphetV2: Head-Movement-Based Gaze Prediction Enabling Efficient Foveated Rendering on Mobile VR [0.0]
本稿では,時間的視線パターン,頭部運動データ,視覚シーン情報を組み合わせたVR視線予測へのマルチモーダルアプローチを提案する。
22のVRシーンと5.3Mの視線サンプルにまたがるデータセットによる評価は、モダリティを組み合わせる際の予測精度の改善を示している。
クロスシーンの一般化テストは、予測された視線軌跡における93.1%の検証精度と時間的整合性を示す。
論文 参考訳(メタデータ) (2025-11-25T06:55:39Z) - GazeProphet: Software-Only Gaze Prediction for VR Foveated Rendering [0.0]
ファブリケートレンダリングは、バーチャルリアリティーアプリケーションにおける計算要求を大幅に減少させる。
現在のアプローチは高価なハードウェアベースのアイトラッキングシステムを必要とする。
本稿では,VR環境における視線位置を予測するためのソフトウェアのみのアプローチであるGazeProphetを提案する。
論文 参考訳(メタデータ) (2025-08-19T06:09:23Z) - SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training [82.68200031146299]
実データに対する対角的VRトレーニングを行うセドVR2と呼ばれる一段階拡散型VRモデルを提案する。
単一ステップで高精細度VRを扱うために、モデルアーキテクチャとトレーニング手順の両方にいくつかの拡張を導入する。
論文 参考訳(メタデータ) (2025-06-05T17:51:05Z) - Towards Consumer-Grade Cybersickness Prediction: Multi-Model Alignment for Real-Time Vision-Only Inference [3.4667973471411853]
サイバーシックネスは没入型バーチャルリアリティ(VR)の普及の大きな障害である
我々は、パーソナライズされたサイバーシックネス予測のためのスケーラブルでデプロイ可能なフレームワークを提案する。
当社のフレームワークは,コンシューマレベルのVRプラットフォームとの統合に理想的なリアルタイムアプリケーションをサポートしています。
論文 参考訳(メタデータ) (2025-01-02T11:41:43Z) - Propagate And Calibrate: Real-time Passive Non-line-of-sight Tracking [84.38335117043907]
本研究では,リレー壁のみを観察することで,見えない部屋を歩いている人を追跡する純粋受動的手法を提案する。
本研究では,リレー壁の映像の非知覚的変化を発掘するため,時間的局所的な動きの伝達に欠かせない特徴として差分フレームを導入する。
提案手法を評価するため,最初の動的受動NLOS追跡データセットであるNLOS-Trackを構築し,公開する。
論文 参考訳(メタデータ) (2023-03-21T12:18:57Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳(メタデータ) (2022-03-23T11:33:27Z) - MotionHint: Self-Supervised Monocular Visual Odometry with Motion
Constraints [70.76761166614511]
モノクローナルビジュアル・オドメトリー(VO)のための新しい自己教師型アルゴリズムMotionHintを提案する。
我々のMotionHintアルゴリズムは、既存のオープンソースSSM-VOシステムに容易に適用できる。
論文 参考訳(メタデータ) (2021-09-14T15:35:08Z) - Gaze-Sensing LEDs for Head Mounted Displays [73.88424800314634]
仮想現実(VR)アプリケーションのための低消費電力の視線トラッカーを作成するために,LEDのセンサ機能を利用する。
我々は,視線推定法が複雑な次元削減技術を必要としないことを示した。
論文 参考訳(メタデータ) (2020-03-18T23:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。