論文の概要: Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
- arxiv url: http://arxiv.org/abs/2010.08278v1
- Date: Fri, 16 Oct 2020 10:02:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:30:23.330997
- Title: Real-Time Face & Eye Tracking and Blink Detection using Event Cameras
- Title（参考訳）: イベントカメラを用いたリアルタイム顔・視線追跡と瞬目検出
- Authors: Cian Ryan, Brian O Sullivan, Amr Elrasad, Joe Lemley, Paul Kielty,
Christoph Posch and Etienne Perot
- Abstract要約: イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。
ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を感知し理解するために設計されたキャビン内の安全システムである。
本稿では,運転者監視のための顔と視線を同時に検出・追跡する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 3.842206880015537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras contain emerging, neuromorphic vision sensors that capture
local light intensity changes at each pixel, generating a stream of
asynchronous events. This way of acquiring visual information constitutes a
departure from traditional frame based cameras and offers several significant
advantages: low energy consumption, high temporal resolution, high dynamic
range and low latency. Driver monitoring systems (DMS) are in-cabin safety
systems designed to sense and understand a drivers physical and cognitive
state. Event cameras are particularly suited to DMS due to their inherent
advantages. This paper proposes a novel method to simultaneously detect and
track faces and eyes for driver monitoring. A unique, fully convolutional
recurrent neural network architecture is presented. To train this network, a
synthetic event-based dataset is simulated with accurate bounding box
annotations, called Neuromorphic HELEN. Additionally, a method to detect and
analyse drivers eye blinks is proposed, exploiting the high temporal resolution
of event cameras. Behaviour of blinking provides greater insights into a driver
level of fatigue or drowsiness. We show that blinks have a unique temporal
signature that can be better captured by event cameras.
- Abstract（参考訳）: イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。
この視覚情報を取得する方法は、従来のフレームベースのカメラから切り離され、低消費電力、高時間分解能、高ダイナミックレンジ、低レイテンシといったいくつかの大きな利点を提供する。
ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を検出し理解するために設計されたキャビン内安全システムである。
イベントカメラは、DMS固有の利点のために特に適している。
本稿では,ドライバ監視のための顔と目を同時に検出し追跡する新しい手法を提案する。
ユニークな、完全な畳み込みリカレントニューラルネットワークアーキテクチャを示す。
このネットワークをトレーニングするために、合成イベントベースのデータセットは、Neuromorphic HELENと呼ばれる正確なバウンディングボックスアノテーションでシミュレートされる。
また,イベントカメラの高時間分解能を活用し,ドライバアイリンクの検出と解析を行う手法を提案する。
点滅の振る舞いは、ドライバーの疲労や眠気のレベルに関する洞察を与える。
ブリンクにはユニークな時間的シグネチャがあり、イベントカメラでよりよく捉えられることを示す。
関連論文リスト
- BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。
本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。
実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-09-26T15:54:18Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Neuromorphic Seatbelt State Detection for In-Cabin Monitoring with Event
Cameras [0.932065750652415]
本研究は,シートベルト状態検出を含むイベントベースDMS技術を拡張するための概念実証を提供する。
二つの分類課題において, 実検体と実検体でF1スコアが0.989, 0.944と同定された。
論文 参考訳（メタデータ） (2023-08-15T14:27:46Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Traffic Sign Detection With Event Cameras and DCNN [0.0]
イベントカメラ(DVS)は、従来のカメラの代替またはサプリメントとして視覚システムで使用されている。
本研究では,これらのセンサが,交通標識検出の一般的な課題に応用できるかどうかを検証した。
論文 参考訳（メタデータ） (2022-07-27T08:01:54Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T10:19:22Z) - Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor
Fusion and Deep Fused Spiking-Analog Network Architectures [7.565038387344594]
本稿では,フレームベースとイベントベースの両方のセンサを用いたエネルギー効率の高い光フロー推定のためのセンサ融合フレームワークを提案する。
我々のネットワークは、高価なビデオアノテーションを避けるために教師なし学習を用いてエンドツーエンドで訓練されている。
論文 参考訳（メタデータ） (2021-03-19T02:03:33Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳（メタデータ） (2021-02-18T13:24:35Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - End-to-end Learning of Object Motion Estimation from Retinal Events for
Event-based Object Tracking [35.95703377642108]
イベントベースオブジェクト追跡のためのパラメトリックオブジェクトレベルの動き/変換モデルを学習し、回帰する新しいディープニューラルネットワークを提案する。
この目的を達成するために,線形時間減衰表現を用いた同期時間曲面を提案する。
我々は、TSLTDフレームのシーケンスを新しい網膜運動回帰ネットワーク(RMRNet)に供給し、エンド・ツー・エンドの5-DoFオブジェクト・モーション・レグレッションを実行する。
論文 参考訳（メタデータ） (2020-02-14T08:19:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。