論文の概要: Evaluating Image-Based Face and Eye Tracking with Event Cameras

• arxiv url: http://arxiv.org/abs/2408.10395v1
• Date: Mon, 19 Aug 2024 20:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 17:43:23.907763
• Title: Evaluating Image-Based Face and Eye Tracking with Event Cameras
• Title（参考訳）: イベントカメラを用いた画像ベース顔と視線追跡の評価
• Authors: Khadija Iddrisu, Waseem Shariff, Noel E. OConnor, Joseph Lemley, Suzanne Little,
• Abstract要約: イベントカメラはニューロモルフィックセンサーとしても知られており、ピクセルレベルの局所光強度の変化を捉え、非同期に生成されたイベントと呼ばれるデータを生成する。 このデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和する。 我々は、従来のアルゴリズムとイベントベースのデータを統合することにより、フレーム形式に変換される可能性を評価する。
• 参考スコア（独自算出の注目度）: 9.677797822200965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event Cameras, also known as Neuromorphic sensors, capture changes in local light intensity at the pixel level, producing asynchronously generated data termed ``events''. This distinct data format mitigates common issues observed in conventional cameras, like under-sampling when capturing fast-moving objects, thereby preserving critical information that might otherwise be lost. However, leveraging this data often necessitates the development of specialized, handcrafted event representations that can integrate seamlessly with conventional Convolutional Neural Networks (CNNs), considering the unique attributes of event data. In this study, We evaluate event-based Face and Eye tracking. The core objective of our study is to showcase the viability of integrating conventional algorithms with event-based data, transformed into a frame format while preserving the unique benefits of event cameras. To validate our approach, we constructed a frame-based event dataset by simulating events between RGB frames derived from the publicly accessible Helen Dataset. We assess its utility for face and eye detection tasks through the application of GR-YOLO -- a pioneering technique derived from YOLOv3. This evaluation includes a comparative analysis with results derived from training the dataset with YOLOv8. Subsequently, the trained models were tested on real event streams from various iterations of Prophesee's event cameras and further evaluated on the Faces in Event Stream (FES) benchmark dataset. The models trained on our dataset shows a good prediction performance across all the datasets obtained for validation with the best results of a mean Average precision score of 0.91. Additionally, The models trained demonstrated robust performance on real event camera data under varying light conditions.
• Abstract（参考訳）: イベントカメラ、またはニューロモルフィックセンサーは、ピクセルレベルでの局所的な光強度の変化を捉え、 '`event'' と呼ばれる非同期に生成されたデータを生成する。 この異なるデータフォーマットは、高速で動く物体を撮影する際のアンダーサンプリングのような、従来のカメラで観察される一般的な問題を緩和し、そうでなければ失われる可能性のある重要な情報を保存する。 しかし、このデータを活用するには、イベントデータのユニークな属性を考慮して、従来の畳み込みニューラルネットワーク(CNN)とシームレスに統合可能な、特殊で手作りのイベント表現を開発する必要があることが多い。 本研究では,イベントベースの顔と視線追跡を評価する。 本研究の目的は,イベントカメラの特有な利点を保ちながら,従来のアルゴリズムとイベントベースデータの統合性を示すことである。 提案手法の有効性を検証するため,公開されているHelen Datasetから派生したRGBフレーム間のイベントをシミュレートして,フレームベースのイベントデータセットを構築した。 YOLOv3から派生した先駆的技術であるGR-YOLOを応用して、顔と目の検出タスクの実用性を評価する。 この評価は、データセットをYOLOv8でトレーニングした結果との比較分析を含む。 その後、トレーニングされたモデルは、Propheseeのイベントカメラの様々なイテレーションから実際のイベントストリームでテストされ、FES(Faces in Event Stream)ベンチマークデータセットでさらに評価された。 我々のデータセットでトレーニングされたモデルは、平均平均精度スコア0.91で検証したすべてのデータセットに対して、優れた予測性能を示す。 さらに、トレーニングされたモデルは、様々な光条件下で実際のイベントカメラデータに対して堅牢な性能を示した。

関連論文リスト

• Relating Events and Frames Based on Self-Supervised Learning and Uncorrelated Conditioning for Unsupervised Domain Adaptation [23.871860648919593]
  イベントベースのカメラは、コンピュータビジョンタスクを実行するための正確かつ高時間分解能の測定を提供する。 それらの利点にもかかわらず、イベントベースのビジョンにディープラーニングを活用することは、注釈付きデータの不足のために大きな障害に直面する。 本稿では、イベントベースの未注釈データに基づいて、注釈付きフレームベースのデータに基づいてトレーニングされたディープニューラルネットワークを適用するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-02T05:10:08Z)
• Event Camera Data Dense Pre-training [10.918407820258246]
  本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。 フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-11-20T04:36:19Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• Passive Non-line-of-sight Imaging for Moving Targets with an Event Camera [0.0]
  非視線イメージング(NLOS: Non-line-of-Sight Imaging)は、障害物や角の向こう側の物体を検出する新しい技術である。 受動NLOSの最近の研究は、主に定常測定と再構成方法に焦点を当てている。 イベントベースの受動NLOSイメージング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-27T10:56:14Z)
• Robust Event Classification Using Imperfect Real-world PMU Data [58.26737360525643]
  本研究では,不完全な実世界のファサー計測単位(PMU)データを用いて,ロバストな事象分類について検討する。 我々は、堅牢なイベント分類器を訓練するための新しい機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-10-19T17:41:43Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)
• Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem Formulation [53.850686395708905]
  イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。 本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。 我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
  論文  参考訳（メタデータ） (2020-09-23T10:40:03Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。