論文の概要: Digitally Prototype Your Eye Tracker: Simulating Hardware Performance using 3D Synthetic Data

• arxiv url: http://arxiv.org/abs/2503.16742v1
• Date: Thu, 20 Mar 2025 23:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:01.027067
• Title: Digitally Prototype Your Eye Tracker: Simulating Hardware Performance using 3D Synthetic Data
• Title（参考訳）: アイトラッカーのデジタルプロトタイプ:3D合成データによるハードウェア性能のシミュレーション
• Authors: Esther Y. H. Lin, Yimin Ding, Jogendra Kundu, Yatong An, Mohamed T. El-Haddad, Alexander Fix,
• Abstract要約: 本稿では,ハードウェア変更が機械学習によるETパフォーマンスに与える影響をエンドツーエンドで評価する手法を提案する。 我々は,ニューラルレイディアンス場(NeRF)を用いた光ドームデータから再構成した実眼のデータセットを用いて,新しい視点から捕獲された眼を合成する。 また、眼のオン軸直視からフレームの周辺視まで、ETカメラの位置を変動させる第1種分析も提案する。
• 参考スコア（独自算出の注目度）: 38.620399293339034
• License:
• Abstract: Eye tracking (ET) is a key enabler for Augmented and Virtual Reality (AR/VR). Prototyping new ET hardware requires assessing the impact of hardware choices on eye tracking performance. This task is compounded by the high cost of obtaining data from sufficiently many variations of real hardware, especially for machine learning, which requires large training datasets. We propose a method for end-to-end evaluation of how hardware changes impact machine learning-based ET performance using only synthetic data. We utilize a dataset of real 3D eyes, reconstructed from light dome data using neural radiance fields (NeRF), to synthesize captured eyes from novel viewpoints and camera parameters. Using this framework, we demonstrate that we can predict the relative performance across various hardware configurations, accounting for variations in sensor noise, illumination brightness, and optical blur. We also compare our simulator with the publicly available eye tracking dataset from the Project Aria glasses, demonstrating a strong correlation with real-world performance. Finally, we present a first-of-its-kind analysis in which we vary ET camera positions, evaluating ET performance ranging from on-axis direct views of the eye to peripheral views on the frame. Such an analysis would have previously required manufacturing physical devices to capture evaluation data. In short, our method enables faster prototyping of ET hardware.
• Abstract（参考訳）: アイトラッキング(ET)はAR/VR(Augmented and Virtual Reality)のキーイネーブルである。 新しいETハードウェアのプロトタイピングには、アイトラッキング性能に対するハードウェア選択の影響を評価する必要がある。 このタスクは、特に大規模なトレーニングデータセットを必要とする機械学習において、十分な数の実際のハードウェアからデータを取得するコストによって複雑化されている。 合成データのみを用いて,ハードウェア変更が機械学習によるETパフォーマンスに与える影響をエンドツーエンドで評価する手法を提案する。 我々は,ニューラルレイディアンス場(NeRF)を用いた光ドームデータから再構成した実眼のデータセットを用いて,新しい視点とカメラパラメータから捕獲眼を合成する。 このフレームワークを用いて,センサノイズ,照明輝度,光ぼけなど,様々なハードウェア構成における相対的な性能を予測できることを実証した。 また、我々のシミュレータとProject Ariaメガネから公開されている視線追跡データセットを比較し、実世界のパフォーマンスと強い相関関係を示す。 最後に,眼のオン軸直視からフレーム上の周辺視まで,ETカメラの位置を変動させる第1種分析法を提案する。 このような分析は、以前は評価データを取得するために物理装置の製造を必要としていた。 簡単に言えば、ETハードウェアの高速なプロトタイピングを可能にする。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• Synthetica: Large Scale Synthetic Data for Robot Perception [21.415878105900187]
  本稿では,ロバストな状態推定器を訓練するための大規模合成データ生成手法であるSyntheticaを提案する。 本稿では,ほとんどの状態推定問題のフロントエンドとして機能する重要な問題であるオブジェクト検出の課題に焦点を当てる。 レイトレーシングのデータを利用して270万の画像を生成し、高精度なリアルタイム検出変換器を訓練する。 我々は,従来のSOTAの9倍の50-100Hzの検出器を動作させながら,物体検出タスクにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2024-10-28T15:50:56Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• Hands-Up: Leveraging Synthetic Data for Hands-On-Wheel Detection [0.38233569758620045]
  この研究は、ドライバモニタリングシステムのトレーニングに合成フォトリアリスティックインキャビンデータを使用することを実証する。 プラットフォームでエラー解析を行い、欠落したエッジケースを生成することで、パフォーマンスが向上することを示す。 これは、人間中心の合成データが現実世界にうまく一般化する能力を示している。
  論文  参考訳（メタデータ） (2022-05-31T23:34:12Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Synthetic Data Are as Good as the Real for Association Knowledge Learning in Multi-object Tracking [19.772968520292345]
  本稿では,3次元合成データが実世界のビデオに取って代わってアソシエーショントレーニングを行うことができるかどうかを考察する。 具体的には,MOTXと呼ばれる大規模合成データエンジンを導入し,カメラや物体の運動特性を実世界のデータセットに類似するように手動で設定する。 実データと比較すると、合成データから得られた関連知識は、ドメイン適応技術なしで実世界のテストセット上で非常によく似た性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-30T14:46:36Z)
• Towards End-to-end Video-based Eye-Tracking [50.0630362419371]
  画像のみから視線を推定することは、観察不可能な人固有の要因のために難しい課題である。 本稿では,これらの意味的関係と時間的関係を明確に学習することを目的とした,新しいデータセットとアタッチメント手法を提案する。 視覚刺激からの情報と視線画像の融合が,文献に記録された人物と同じような性能を達成することにつながることを実証した。
  論文  参考訳（メタデータ） (2020-07-26T12:39:15Z)
• SimAug: Learning Robust Representations from Simulation for Trajectory Prediction [78.91518036949918]
  本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。 我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
  論文  参考訳（メタデータ） (2020-04-04T21:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。