論文の概要: LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking
using Synthetic Eye Images
- arxiv url: http://arxiv.org/abs/2309.06129v3
- Date: Thu, 28 Sep 2023 08:55:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 10:56:32.060819
- Title: LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking
using Synthetic Eye Images
- Title(参考訳): LEyes:合成眼画像を用いた深層学習眼球追跡のための軽量フレームワーク
- Authors: Sean Anthony Byrne, Virmarie Maquiling, Marcus Nystr\"om, Enkelejda
Kasneci, Diederick C. Niehorster
- Abstract要約: 我々は、従来の手法とは異なり、ビデオベースのアイトラッキングに必要な重要な画像のみをモデル化する「ライトアイズ」または「リーズ」というフレームワークを提案する。
我々は、Leyesを用いて訓練されたモデルが、瞳孔やCRの局在の点から他の最先端アルゴリズムよりも一貫して優れていることを実証した。
- 参考スコア(独自算出の注目度): 9.150553995510217
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Deep learning has bolstered gaze estimation techniques, but real-world
deployment has been impeded by inadequate training datasets. This problem is
exacerbated by both hardware-induced variations in eye images and inherent
biological differences across the recorded participants, leading to both
feature and pixel-level variance that hinders the generalizability of models
trained on specific datasets. While synthetic datasets can be a solution, their
creation is both time and resource-intensive. To address this problem, we
present a framework called Light Eyes or "LEyes" which, unlike conventional
photorealistic methods, only models key image features required for video-based
eye tracking using simple light distributions. LEyes facilitates easy
configuration for training neural networks across diverse gaze-estimation
tasks. We demonstrate that models trained using LEyes are consistently on-par
or outperform other state-of-the-art algorithms in terms of pupil and CR
localization across well-known datasets. In addition, a LEyes trained model
outperforms the industry standard eye tracker using significantly more
cost-effective hardware. Going forward, we are confident that LEyes will
revolutionize synthetic data generation for gaze estimation models, and lead to
significant improvements of the next generation video-based eye trackers.
- Abstract(参考訳): ディープラーニングは視線推定技術を強化しているが、実際のデプロイメントは不適切なトレーニングデータセットによって妨げられている。
この問題は、ハードウェアによって引き起こされる眼像の変化と、記録された参加者間の固有の生物学的差異の両方によって悪化し、特定のデータセットで訓練されたモデルの一般化性を阻害する特徴レベルと画素レベルのばらつきが生じる。
合成データセットはソリューションであり得るが、その生成は時間とリソース集約の両方である。
この問題に対処するために、従来のフォトリアリスティック手法とは異なり、簡単な光分布を用いた映像ベースのアイトラッキングに必要な重要な特徴をモデル化するフレームワーク「ライトアイズ」や「リーズ」を提案する。
LEyesは、さまざまな視線推定タスクにわたるニューラルネットワークのトレーニングを容易にする。
レイを使ってトレーニングされたモデルは、よく知られたデータセットにまたがる瞳孔とcrのローカライズの観点から、常に同じか、他の最先端アルゴリズムよりも優れています。
さらにleyesがトレーニングしたモデルは、業界標準のアイトラッカーをはるかに高いコスト効率のハードウェアで上回っている。
今後、レイズは視線推定モデルのための合成データ生成に革命をもたらし、次世代のビデオベースのアイトラッカーの大幅な改善につながると確信しています。
関連論文リスト
- OnDev-LCT: On-Device Lightweight Convolutional Transformers towards
federated learning [29.798780069556074]
フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。
トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
論文 参考訳(メタデータ) (2024-01-22T02:17:36Z) - Contrastive Learning-Based Framework for Sim-to-Real Mapping of Lidar
Point Clouds in Autonomous Driving Systems [10.964549009068344]
本稿では,自動走行システムにおいて広く使われている知覚センサであるライダー点雲のシミュレートと実写マッピングに焦点を当てた。
画像と画像の翻訳技術の最近の進歩に触発された、コントラシティブ・ラーニングに基づく新しいSim-to-Realマッピングフレームワーク、すなわちCRS2Rを紹介する。
論文 参考訳(メタデータ) (2023-12-25T21:55:00Z) - Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。
主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。
上述の潜在対応をモデル化するための双レベルパラダイムを導入する。
エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
論文 参考訳(メタデータ) (2023-06-02T08:16:21Z) - Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。
タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。
本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文 参考訳(メタデータ) (2022-12-30T12:39:55Z) - Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and
Transformer-Based Method [51.30748775681917]
低照度画像強調(LLIE)の課題を考察し,4K解像度と8K解像度の画像からなる大規模データベースを導入する。
我々は、系統的なベンチマーク研究を行い、現在のLLIEアルゴリズムと比較する。
第2のコントリビューションとして,変換器をベースとした低照度化手法であるLLFormerを紹介する。
論文 参考訳(メタデータ) (2022-12-22T09:05:07Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳(メタデータ) (2022-07-10T13:47:20Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳(メタデータ) (2022-04-21T14:40:32Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳(メタデータ) (2022-04-14T22:58:30Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-04-08T17:59:58Z) - PennSyn2Real: Training Object Recognition Models without Human Labeling [12.923677573437699]
我々はPennSyn2Realを提案する。20種類以上のマイクロエアロビー(MAV)の10万以上の4K画像からなる合成データセットである。
このデータセットは、MAV検出や分類などのハイレベルコンピュータビジョンタスクのための任意の数のトレーニングイメージを生成するために使用することができる。
このフレームワークを用いて生成された合成データは,検出やセグメンテーションといった一般的なオブジェクト認識タスクに対して,CNNモデルをトレーニングするために直接利用できることを示す。
論文 参考訳(メタデータ) (2020-09-22T02:53:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。