論文の概要: DDD20 End-to-End Event Camera Driving Dataset: Fusing Frames and Events with Deep Learning for Improved Steering Prediction

• arxiv url: http://arxiv.org/abs/2005.08605v1
• Date: Mon, 18 May 2020 11:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 23:47:23.645431
• Title: DDD20 End-to-End Event Camera Driving Dataset: Fusing Frames and Events with Deep Learning for Improved Steering Prediction
• Title（参考訳）: DDD20 エンドツーエンドのイベントカメラ駆動データセット: ステアリング予測を改善するためのディープラーニングを備えたフレームとイベントの融合
• Authors: Yuhuang Hu, Jonathan Binas, Daniel Neil, Shih-Chii Liu and Tobi Delbruck
• Abstract要約: 本稿では、DDD20と呼ばれる新しいエンドツーエンド駆動データセットについて報告する。 データセットは、ダイナミックビジョンセンサー(DVS)の輝度変化イベントとアクティブピクセルセンサー(APS)の強度フレームの両方を同時にストリームするDAVISカメラでキャプチャされた。 DDD20を用いて、人間の瞬時ハンドル角度を予測するための深層学習手法を用いて、明るさ変化イベントと強度フレームデータを融合する最初の研究を報告した。
• 参考スコア（独自算出の注目度）: 17.866088386300714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuromorphic event cameras are useful for dynamic vision problems under difficult lighting conditions. To enable studies of using event cameras in automobile driving applications, this paper reports a new end-to-end driving dataset called DDD20. The dataset was captured with a DAVIS camera that concurrently streams both dynamic vision sensor (DVS) brightness change events and active pixel sensor (APS) intensity frames. DDD20 is the longest event camera end-to-end driving dataset to date with 51h of DAVIS event+frame camera and vehicle human control data collected from 4000km of highway and urban driving under a variety of lighting conditions. Using DDD20, we report the first study of fusing brightness change events and intensity frame data using a deep learning approach to predict the instantaneous human steering wheel angle. Over all day and night conditions, the explained variance for human steering prediction from a Resnet-32 is significantly better from the fused DVS+APS frames (0.88) than using either DVS (0.67) or APS (0.77) data alone.
• Abstract（参考訳）: ニューロモルフィック・イベントカメラは、難しい照明条件下での動的視覚問題に有用である。 本稿では,自動車運転におけるイベントカメラの活用について検討するため,DDD20と呼ばれる新しいエンドツーエンド駆動データセットを報告する。 データセットは、ダイナミックビジョンセンサー(DVS)の輝度変化イベントとアクティブピクセルセンサー(APS)の強度フレームの両方を同時にストリームするDAVISカメラでキャプチャされた。 DDD20は、DAVISイベント+フレームカメラの51時間と、様々な照明条件下で4000kmの高速道路と都市部での運転から収集された車両の人間制御データで、これまでで最長のイベントカメラエンドツーエンドの駆動データセットである。 DDD20を用いて、人間の瞬時ハンドル角度を予測するための深層学習手法を用いて、明るさ変化イベントと強度フレームデータを融合する最初の研究を報告した。 昼夜を問わず、Resnet-32からの人間の操舵予測のばらつきは、DVS (0.67) または APS (0.77) のデータのみを使用するよりも、融合したDVS+APSフレーム (0.88) よりもはるかに優れている。

関連論文リスト

• BlinkTrack: Feature Tracking over 100 FPS via Events and Images [50.98675227695814]
  本稿では,RGB画像とイベントデータを統合した新しいフレームワークであるBlinkTrackを提案する。 本手法は,従来のカルマンフィルタを学習ベースのフレームワークに拡張し,イベントおよびイメージの分岐において微分可能なカルマンフィルタを利用する。 実験の結果、BlinkTrackは既存のイベントベースの手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-09-26T15:54:18Z)
• DailyDVS-200: A Comprehensive Benchmark Dataset for Event-Based Action Recognition [51.96660522869841]
  DailyDVS-200は、イベントベースのアクション認識コミュニティに適したベンチマークデータセットである。 実世界のシナリオで200のアクションカテゴリをカバーし、47人の参加者によって記録され、22,000以上のイベントシーケンスで構成されている。 DailyDVS-200には14の属性がアノテートされており、記録されたアクションの詳細なキャラクタリゼーションが保証されている。
  論文  参考訳（メタデータ） (2024-07-06T15:25:10Z)
• NiteDR: Nighttime Image De-Raining with Cross-View Sensor Cooperative Learning for Dynamic Driving Scenes [49.92839157944134]
  夜間の運転シーンでは、不十分で不均一な照明が暗闇の中でシーンを遮蔽し、画質と可視性が低下する。 雨天時の運転シーンに適した画像デライニング・フレームワークを開発した。 雨の人工物を取り除き、風景表現を豊かにし、有用な情報を復元することを目的としている。
  論文  参考訳（メタデータ） (2024-02-28T09:02:33Z)
• LiDAR-as-Camera for End-to-End Driving [1.0323063834827415]
  Ouster LiDARは、深度、強度、周囲の放射線チャンネルを備えたサラウンドビューのLiDARイメージを出力することができる。 これらの測定は、同じセンサーから始まり、時間と空間で完全に整列する。 このようなLiDAR画像は、実車走行追従作業に十分であり、テスト条件下では少なくともカメラベースモデルに対して等しく動作することを示す。 研究の第2の方向において、非政治予測シーケンスの時間的スムーズさは、一般的に使用される平均絶対誤差と実際のオンライン運転能力と等しく相関することが明らかとなった。
  論文  参考訳（メタデータ） (2022-06-30T10:06:49Z)
• TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
  イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。 これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。 イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
  論文  参考訳（メタデータ） (2021-08-16T19:53:56Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• DSEC: A Stereo Event Camera Dataset for Driving Scenarios [55.79329250951028]
  本研究は,イベントカメラを用いた初の高分解能大規模ステレオデータセットを提案する。 データセットは、様々な照明条件で駆動により収集された53のシーケンスを含む。 イベントベースステレオアルゴリズムの開発と評価のための基礎的な真相の相違を提供する。
  論文  参考訳（メタデータ） (2021-03-10T12:10:33Z)
• Asynchronous Corner Tracking Algorithm based on Lifetime of Events for DAVIS Cameras [0.9988653233188148]
  イベントカメラ、すなわちダイナミックおよびアクティブピクセルビジョンセンサー(DAVIS)はシーンの強度変化を捉え、非同期でイベントストリームを生成する。 このようなカメラの出力速度は、高ダイナミックな環境で毎秒最大1000万イベントに達することができる。 DAVISカメラで捉えたイベントと強度画像の両方を利用した非同期コーナー追跡手法を提案する。
  論文  参考訳（メタデータ） (2020-10-29T12:02:40Z)
• v2e: From Video Frames to Realistic DVS Events [16.562442770255032]
  本稿では,高強度フレームからリアルな合成DVSイベントを生成するv2eツールボックスを提案する。 リアルなDVSイベントは、制御されていない照明条件のトレーニングネットワークで有用である。
  論文  参考訳（メタデータ） (2020-06-13T21:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。