論文の概要: GazeProphet: Software-Only Gaze Prediction for VR Foveated Rendering
- arxiv url: http://arxiv.org/abs/2508.13546v1
- Date: Tue, 19 Aug 2025 06:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.814565
- Title: GazeProphet: Software-Only Gaze Prediction for VR Foveated Rendering
- Title(参考訳): Gaze Prophet:VR体験レンダリングのためのソフトウェアのみのゲイズ予測
- Authors: Farhaan Ebadulla, Chiraag Mudlapur, Gaurav BV,
- Abstract要約: ファブリケートレンダリングは、バーチャルリアリティーアプリケーションにおける計算要求を大幅に減少させる。
現在のアプローチは高価なハードウェアベースのアイトラッキングシステムを必要とする。
本稿では,VR環境における視線位置を予測するためのソフトウェアのみのアプローチであるGazeProphetを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foveated rendering significantly reduces computational demands in virtual reality applications by concentrating rendering quality where users focus their gaze. Current approaches require expensive hardware-based eye tracking systems, limiting widespread adoption due to cost, calibration complexity, and hardware compatibility constraints. This paper presents GazeProphet, a software-only approach for predicting gaze locations in VR environments without requiring dedicated eye tracking hardware. The approach combines a Spherical Vision Transformer for processing 360-degree VR scenes with an LSTM-based temporal encoder that captures gaze sequence patterns. A multi-modal fusion network integrates spatial scene features with temporal gaze dynamics to predict future gaze locations with associated confidence estimates. Experimental evaluation on a comprehensive VR dataset demonstrates that GazeProphet achieves a median angular error of 3.83 degrees, outperforming traditional saliency-based baselines by 24% while providing reliable confidence calibration. The approach maintains consistent performance across different spatial regions and scene types, enabling practical deployment in VR systems without additional hardware requirements. Statistical analysis confirms the significance of improvements across all evaluation metrics. These results show that software-only gaze prediction can work for VR foveated rendering, making this performance boost more accessible to different VR platforms and apps.
- Abstract(参考訳): ファブリックレンダリングは、ユーザーが視線を集中するレンダリング品質を集中させることで、仮想現実アプリケーションにおける計算要求を大幅に削減する。
現在のアプローチでは、高価なハードウェアベースのアイトラッキングシステムが必要であり、コスト、キャリブレーションの複雑さ、ハードウェア互換性の制約により広く採用されることが制限されている。
本稿では、専用の視線追跡ハードウェアを必要とせず、VR環境における視線位置を予測するためのソフトウェアのみのアプローチであるGazeProphetを提案する。
このアプローチでは、360度VRシーンを処理するSpherical Vision Transformerと、視線シーケンスパターンをキャプチャするLSTMベースの時間エンコーダを組み合わせる。
マルチモーダル融合ネットワークは、空間的景観特徴と時間的視線力学を統合し、関連する信頼度推定で将来の視線位置を予測する。
総合的なVRデータセットに対する実験的評価は、GazeProphetが中央値の角度誤差3.83度を達成し、信頼性のキャリブレーションを提供しながら、従来の唾液ベースのベースラインを24%上回っていることを示している。
このアプローチは、異なる空間領域とシーンタイプで一貫したパフォーマンスを維持し、追加のハードウェア要件なしにVRシステムに実用的な展開を可能にする。
統計分析は、すべての評価指標における改善の重要性を裏付ける。
これらの結果から、ソフトウェアのみの視線予測がVRの望ましくないレンダリングに有効であることが分かる。
関連論文リスト
- SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training [82.68200031146299]
実データに対する対角的VRトレーニングを行うセドVR2と呼ばれる一段階拡散型VRモデルを提案する。
単一ステップで高精細度VRを扱うために、モデルアーキテクチャとトレーニング手順の両方にいくつかの拡張を導入する。
論文 参考訳(メタデータ) (2025-06-05T17:51:05Z) - Towards Consumer-Grade Cybersickness Prediction: Multi-Model Alignment for Real-Time Vision-Only Inference [3.4667973471411853]
サイバーシックネスは没入型バーチャルリアリティ(VR)の普及の大きな障害である
我々は、パーソナライズされたサイバーシックネス予測のためのスケーラブルでデプロイ可能なフレームワークを提案する。
当社のフレームワークは,コンシューマレベルのVRプラットフォームとの統合に理想的なリアルタイムアプリケーションをサポートしています。
論文 参考訳(メタデータ) (2025-01-02T11:41:43Z) - Extrapolated Urban View Synthesis Benchmark [53.657271730352214]
光シミュレーターは視覚中心型自動運転車(AV)の訓練と評価に不可欠である
中心となるのはノベルビュー合成(英語版)(NVS)であり、これはAVの広範かつ連続的なポーズ分布に対応するために、様々な目に見えない視点を生成する能力である。
近年の3次元ガウス・スプラッティングのような放射場の発展は、リアルタイムなリアルタイムレンダリングを実現し、大規模ドライビングシーンのモデリングに広く利用されている。
自動運転車と都市ロボットシミュレーション技術の進歩を支援するために、データを公開します。
論文 参考訳(メタデータ) (2024-12-06T18:41:39Z) - VR-Splatting: Foveated Radiance Field Rendering via 3D Gaussian Splatting and Neural Points [4.962171160815189]
本稿では,パフォーマンススイートスポットに関する両点描画方向の長所を結合した,新しいハイブリッドアプローチを提案する。
焦点のみの場合、我々は小さなピクセルフットプリントのために畳み込みニューラルネットワークでニューラルネットワークを使用し、鋭く詳細な出力を提供する。
提案手法は,標準的なVR対応3DGS構成と比較して,シャープネスとディテールが向上することを確認した。
論文 参考訳(メタデータ) (2024-10-23T14:54:48Z) - Self-Avatar Animation in Virtual Reality: Impact of Motion Signals Artifacts on the Full-Body Pose Reconstruction [13.422686350235615]
本研究の目的は,自己アバターのフルボディポーズの再現に対する影響を計測することである。
テキストYOLOv8のポーズ推定から推定した3次元動画像と3次元動画像座標を用いて動画像再構成誤差を解析する。
論文 参考訳(メタデータ) (2024-04-29T12:02:06Z) - Deep Learning for Real Time Satellite Pose Estimation on Low Power Edge
TPU [58.720142291102135]
本稿では,ニューラルネットワークアーキテクチャを利用したポーズ推定ソフトウェアを提案する。
我々は、低消費電力の機械学習アクセラレーターが宇宙での人工知能の活用を可能にしていることを示す。
論文 参考訳(メタデータ) (2022-04-07T08:53:18Z) - Meta-Reinforcement Learning for Reliable Communication in THz/VLC
Wireless VR Networks [157.42035777757292]
屋内テラヘルツ(THz)/可視光通信(VLC)無線ネットワークにおいて,仮想現実(VR)サービスの品質向上の問題について検討した。
小型基地局(sbss)は高品質のvr画像をthzバンド経由でvrユーザーに送信し、発光ダイオード(led)は正確な屋内測位サービスを提供する。
研究したTHz/VLC無線VRネットワークのエネルギー消費を制御するには、VLCアクセスポイント(VAP)を選択的にオンにする必要がある。
論文 参考訳(メタデータ) (2021-01-29T15:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。