論文の概要: DriveGazen: Event-Based Driving Status Recognition using Conventional Camera
- arxiv url: http://arxiv.org/abs/2412.11753v1
- Date: Mon, 16 Dec 2024 13:12:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:00:45.056566
- Title: DriveGazen: Event-Based Driving Status Recognition using Conventional Camera
- Title（参考訳）: DriveGazen:従来のカメラを用いたイベントベース運転状況認識
- Authors: Xiaoyin Yang,
- Abstract要約: 運転者の視線観測から運転状況を特定するために、照明条件の変化に頑健な新しいリアルタイム手法とともに、ウェアラブル運転状況認識装置とオープンソースデータセットを導入している。
提案手法のコアは,従来の強度フレームからイベントフレームを生成することであり,もう1つは,新たに設計された注意運転状態ネットワーク(ADSN)である。
我々の知る限りでは、従来のカメラから生成されたガイドアテンションスパイクニューラルネットワークとアイベースのイベントフレームを利用してステータス認識を行うのが初である。
- 参考スコア（独自算出の注目度）: 0.4662017507844857
- License:
- Abstract: We introduce a wearable driving status recognition device and our open-source dataset, along with a new real-time method robust to changes in lighting conditions for identifying driving status from eye observations of drivers. The core of our method is generating event frames from conventional intensity frames, and the other is a newly designed Attention Driving State Network (ADSN). Compared to event cameras, conventional cameras offer complete information and lower hardware costs, enabling captured frames to encode rich spatial information. However, these textures lack temporal information, posing challenges in effectively identifying driving status. DriveGazen addresses this issue from three perspectives. First, we utilize video frames to generate realistic synthetic dynamic vision sensor (DVS) events. Second, we adopt a spiking neural network to decode pertinent temporal information. Lastly, ADSN extracts crucial spatial cues from corresponding intensity frames and conveys spatial attention to convolutional spiking layers during both training and inference through a novel guide attention module to guide the feature learning and feature enhancement of the event frame. We specifically collected the Driving Status (DriveGaze) dataset to demonstrate the effectiveness of our approach. Additionally, we validate the superiority of the DriveGazen on the Single-eye Event-based Emotion (SEE) dataset. To the best of our knowledge, our method is the first to utilize guide attention spiking neural networks and eye-based event frames generated from conventional cameras for driving status recognition. Please refer to our project page for more details: https://github.com/TooyoungALEX/AAAI25-DriveGazen.
- Abstract（参考訳）: 運転者の視線観測から運転状況を特定するために、照明条件の変化に頑健な新しいリアルタイム手法とともに、ウェアラブル運転状況認識装置とオープンソースデータセットを導入している。
本手法のコアは,従来の強度フレームからイベントフレームを生成することであり,もう1つは,新たに設計された注意運転状態ネットワーク(ADSN)である。
イベントカメラと比較して、従来のカメラは完全な情報を提供し、ハードウェアコストを下げ、捕獲されたフレームが豊富な空間情報をエンコードできる。
しかし、これらのテクスチャには時間的情報がなく、運転状態を効果的に特定する上での課題が浮かび上がっている。
DriveGazenは3つの観点からこの問題に対処する。
まず,映像フレームを用いてリアルな合成動的視覚センサ(DVS)イベントを生成する。
第二に、スパイクニューラルネットワークを用いて、関連する時間情報をデコードする。
最後に、ADSNは、対応する強度フレームから重要な空間的手がかりを抽出し、新しいガイドアテンションモジュールを通じて、トレーニングと推論の間、空間的注意を畳み込みスパイキング層に伝達し、イベントフレームの特徴学習と特徴強化を導く。
具体的には、DriveGaze(Drive Gaze)データセットを収集して、このアプローチの有効性を実証しました。
さらに、単眼イベントベース感情(SEE)データセットにおけるDriveGazenの優位性を検証する。
我々の知る限りでは、従来のカメラから生成されたガイドアテンションスパイクニューラルネットワークとアイベースのイベントフレームを利用してステータス認識を行うのが初である。
詳細はプロジェクトページを参照してください。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Research, Applications and Prospects of Event-Based Pedestrian Detection: A Survey [10.494414329120909]
生物学的網膜にインスパイアされたイベントベースのカメラは、最小限の電力要求、無視できるレイテンシ、時間分解能、拡張可能なダイナミックレンジによって区別される最先端のセンサーへと進化してきた。
イベントベースのカメラは、高速撮像のシナリオにおいて、外部データ伝送を誘発し、動きのぼやけをなくすことによって制限に対処する。
本稿では,特に自律運転における研究と応用について概観する。
論文 参考訳（メタデータ） (2024-07-05T06:17:00Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳（メタデータ） (2024-02-20T01:43:51Z) - In the Blink of an Eye: Event-based Emotion Recognition [44.12621619057609]
本研究では、ウェアラブルな単眼感情認識装置と、感情の部分的な観察から感情を認識するリアルタイムアプローチを導入する。
我々の手法の核心は、バイオインスパイアされたイベントベースのカメラと、新しく設計された軽量スパイキングアイ感情ネットワーク(SEEN)である。
論文 参考訳（メタデータ） (2023-10-06T06:33:20Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳（メタデータ） (2023-08-25T23:51:07Z) - Cross-modal Place Recognition in Image Databases using Event-based
Sensors [28.124708490967713]
イベントクエリが与えられたデータベースから正規画像を取得することができる,最初のクロスプラットフォームな視覚的位置認識フレームワークを提案する。
本手法は,ブリスベン-イベント-VPRデータセット上での最先端のフレームベースおよびイベントベース手法に関する有望な結果を示す。
論文 参考訳（メタデータ） (2023-07-03T14:24:04Z) - Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。
ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。
我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
論文 参考訳（メタデータ） (2023-04-28T23:43:10Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks [55.81577205593956]
イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。
深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
論文 参考訳（メタデータ） (2023-02-17T14:19:28Z) - Representation Learning for Event-based Visuomotor Policies [18.4767874925189]
非同期イベントデータからの教師なし表現のためのイベント自動コーダを提案する。
テンポラリなイベントデータからコンテクストのエンコードまで,コンパクトな表現を学習することが可能であることを示す。
シミュレーションで障害物回避シナリオに適用することにより、この枠組みの学習のバイスモモモターポリシーを検証します。
論文 参考訳（メタデータ） (2021-03-01T07:04:00Z) - Real-Time Face & Eye Tracking and Blink Detection using Event Cameras [3.842206880015537]
イベントカメラには、各ピクセルの局所的な光強度の変化を捉え、非同期イベントのストリームを生成する、新しいニューロモルフィックな視覚センサが含まれている。
ドライバー監視システム(英: Driver monitoring system、DMS)は、ドライバーの身体的および認知状態を感知し理解するために設計されたキャビン内の安全システムである。
本稿では,運転者監視のための顔と視線を同時に検出・追跡する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-16T10:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。