論文の概要: N-DriverMotion: Driver motion learning and prediction using an event-based camera and directly trained spiking neural networks on Loihi 2
- arxiv url: http://arxiv.org/abs/2408.13379v2
- Date: Mon, 18 Nov 2024 20:30:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:34:33.719963
- Title: N-DriverMotion: Driver motion learning and prediction using an event-based camera and directly trained spiking neural networks on Loihi 2
- Title（参考訳）: N-DriverMotion:Loihi 2上のイベントベースカメラと直接訓練されたスパイクニューラルネットワークを用いたドライバーの動き学習と予測
- Authors: Hyo Jong Chung, Byungkon Kang, Yoonseok Yang,
- Abstract要約: 本稿では,ドライバーの動きを学習し,予測する新しいシステムと,イベントベース高分解能データセット(1280x720)を提案する。
提案したニューロモルフィック視覚システムは、CSNNアーキテクチャでドライバの動きを認識する際に、同等の精度94.04%を達成する。
- 参考スコア（独自算出の注目度）: 2.3941497253612085
- License:
- Abstract: Driver motion recognition is a principal factor in ensuring the safety of driving systems. This paper presents a novel system for learning and predicting driver motions and an event-based high-resolution (1280x720) dataset, N-DriverMotion, newly collected to train on a neuromorphic vision system. The system comprises an event-based camera that generates the first high-resolution driver motion dataset representing spike inputs and efficient spiking neural networks (SNNs) that are effective in training and predicting the driver's gestures. The event dataset consists of 13 driver motion categories classified by direction (front, side), illumination (bright, moderate, dark), and participant. A novel simplified four-layer convolutional spiking neural network (CSNN) that we proposed was directly trained using the high-resolution dataset without any time-consuming preprocessing. This enables efficient adaptation to on-device SNNs for real-time inference on high-resolution event-based streams. Compared with recent gesture recognition systems adopting neural networks for vision processing, the proposed neuromorphic vision system achieves comparable accuracy, 94.04\%, in recognizing driver motions with the CSNN architecture. Our proposed CSNN and the dataset can be used to develop safer and more efficient driver monitoring systems for autonomous vehicles or edge devices requiring an efficient neural network architecture.
- Abstract（参考訳）: 運転者の運動認識は運転システムの安全性を確保する主要な要因である。
本稿では,ドライバーの動きを学習し,予測する新しいシステムと,ニューロモルフィック視覚システムで新たに収集したイベントベース高解像度データセットN-DriverMotionを提案する。
システムは、スパイク入力と効率的なスパイキングニューラルネットワーク(SNN)を表す最初の高解像度ドライバモーションデータセットを生成し、ドライバのジェスチャーのトレーニングおよび予測に有効であるイベントベースのカメラを含む。
イベントデータセットは、方向(前、側)、照明(明、中、暗)、参加者によって分類された13のドライバー動作カテゴリで構成されている。
提案した新しい4層畳み込みニューラルネットワーク(CSNN)は,時間を要する前処理を伴わずに,高分解能データセットを直接訓練した。
これにより、高解像度のイベントベースストリーム上でのリアルタイム推論のためのデバイス上のSNNへの効率的な適応が可能になる。
視覚処理にニューラルネットワークを採用した最近のジェスチャー認識システムと比較して、提案されたニューロモルフィック視覚システムは、CSNNアーキテクチャによるドライバ動作の認識において、同等の精度94.04\%を達成する。
提案したCSNNとデータセットは、効率的なニューラルネットワークアーキテクチャを必要とする自動運転車やエッジデバイスに対して、より安全で効率的な運転監視システムを開発するために使用することができる。
関連論文リスト
- Spiking-DD: Neuromorphic Event Camera based Driver Distraction Detection with Spiking Neural Network [0.09999629695552192]
イベントカメラベースのドライバー監視は、研究の重要な領域として浮上している。
我々の知る限りでは、この研究は、ドライバーの気を散らすために、スパイクニューラルネットワークを用いたイベントカメラデータを初めて利用したものだ。
論文 参考訳（メタデータ） (2024-07-30T08:23:47Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - Federated Deep Learning Meets Autonomous Vehicle Perception: Design and
Verification [168.67190934250868]
フェデレーテッド・ラーニング・パワード・コネクテッド・オートモービル(FLCAV)が提案されている。
FLCAVは通信とアノテーションのコストを削減しながらプライバシを保存する。
マルチステージトレーニングのためのネットワークリソースと道路センサのポーズを決定することは困難である。
論文 参考訳（メタデータ） (2022-06-03T23:55:45Z) - Efficient Federated Learning with Spike Neural Networks for Traffic Sign
Recognition [70.306089187104]
我々は、エネルギー効率と高速モデルトレーニングのための交通信号認識に強力なスパイクニューラルネットワーク(SNN)を導入している。
数値的な結果から,提案するフェデレーションSNNは,従来のフェデレーション畳み込みニューラルネットワークよりも精度,ノイズ免疫性,エネルギー効率に優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-05-28T03:11:48Z) - Object Detection with Spiking Neural Networks on Automotive Event Data [0.0]
我々は、イベントカメラから直接スパイキングニューラルネットワーク(SNN)を訓練し、高速で効率的な自動車組込みアプリケーションを設計することを提案する。
本稿では,2つの自動車イベントデータセットの実験を行い,スパイクニューラルネットワークのための最先端の分類結果を確立した。
論文 参考訳（メタデータ） (2022-05-09T14:39:47Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - Driving Style Representation in Convolutional Recurrent Neural Network
Model of Driver Identification [8.007800530105191]
運転スタイルのための高忠実度表現を構築するために,D-CRNNと呼ばれるディープ・ニューラル・ネットワークアーキテクチャを提案する。
CNNを用いて、軌道からの運転行動の意味的パターンをキャプチャする。
次に、RNNを用いて駆動スタイルをエンコードするこれらのセマンティックパターン間の時間的依存関係を見つけ出す。
論文 参考訳（メタデータ） (2021-02-11T04:33:43Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳（メタデータ） (2020-07-28T07:34:30Z) - Temporal Pulses Driven Spiking Neural Network for Fast Object
Recognition in Autonomous Driving [65.36115045035903]
スパイキングニューラルネットワーク(SNN)を用いた生時間パルスで直接物体認識問題に対処する手法を提案する。
各種データセットを用いて評価した結果,提案手法は最先端の手法に匹敵する性能を示しながら,優れた時間効率を実現している。
論文 参考訳（メタデータ） (2020-01-24T22:58:55Z) - Driver Safety Development Real Time Driver Drowsiness Detection System
Based on Convolutional Neural Network [1.7188280334580195]
本稿では,道路上での運転者の安全に関する課題に焦点をあて,眠気検知のための新しいシステムを提案する。
眠気の兆候としてドライバの睡眠状態を検出するために、畳み込みニューラルネットワーク(CNN)を用いる。
論文 参考訳（メタデータ） (2020-01-15T05:38:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。