論文の概要: TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras

• arxiv url: http://arxiv.org/abs/2401.08474v1
• Date: Tue, 16 Jan 2024 16:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 18:59:35.029204
• Title: TUMTraf Event: Calibration and Fusion Resulting in a Dataset for Roadside Event-Based and RGB Cameras
• Title（参考訳）: TUMTraf Event: ロードサイドイベントベースおよびRGBカメラのデータセットにおける校正と融合の結果
• Authors: Christian Cre{\ss}, Walter Zimmer, Nils Purschke, Bach Ngoc Doan, Venkatnarayanan Lakshminarasimhan, Leah Strand, Alois C. Knoll
• Abstract要約: インテリジェントトランスポーテーションシステム(ITS)のイベントベースカメラ 非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜の物体の認識を容易にする。 しかし、イベントベースの画像は従来のカメラの画像と比べて色やテクスチャが欠けている。
• 参考スコア（独自算出の注目度）: 15.20477541685738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event-based cameras are predestined for Intelligent Transportation Systems (ITS). They provide very high temporal resolution and dynamic range, which can eliminate motion blur and make objects easier to recognize at night. However, event-based images lack color and texture compared to images from a conventional rgb camera. Considering that, data fusion between event-based and conventional cameras can combine the strengths of both modalities. For this purpose, extrinsic calibration is necessary. To the best of our knowledge, no targetless calibration between event-based and rgb cameras can handle multiple moving objects, nor data fusion optimized for the domain of roadside ITS exists, nor synchronized event-based and rgb camera datasets in the field of ITS are known. To fill these research gaps, based on our previous work, we extend our targetless calibration approach with clustering methods to handle multiple moving objects. Furthermore, we develop an early fusion, simple late fusion, and a novel spatiotemporal late fusion method. Lastly, we publish the TUMTraf Event Dataset, which contains more than 4k synchronized event-based and rgb images with 21.9k labeled 2D boxes. During our extensive experiments, we verified the effectiveness of our calibration method with multiple moving objects. Furthermore, compared to a single rgb camera, we increased the detection performance of up to +16% mAP in the day and up to +12% mAP in the challenging night with our presented event-based sensor fusion methods. The TUMTraf Event Dataset is available at https://innovation-mobility.com/tumtraf-dataset.
• Abstract（参考訳）: イベントベースのカメラは、Intelligent Transportation Systems (ITS) に先行している。 非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜間に物体を認識しやすくする。 しかし、イベントベースの画像は従来のrgbカメラの画像と比べて色やテクスチャに欠ける。 それを考えると、イベントベースと従来のカメラ間のデータ融合は、両方のモダリティの強みを組み合わせることができる。 この目的のためには、余分なキャリブレーションが必要である。 我々の知る限り、イベントベースカメラとrgbカメラのターゲットレスキャリブレーションは、複数の移動物体を扱えず、道端の領域に最適化されたデータ融合も存在せず、ITSの分野における同期イベントベースカメラとrgbカメラのデータセットも知られている。 これらの研究ギャップを埋めるために、我々は、複数の移動物体を扱うクラスタリング手法を用いて、ターゲットレスキャリブレーションアプローチを拡張した。 さらに, 初期核融合, 単純後核融合および新しい時空間後核融合法を開発した。 最後に、21.9kラベルの2Dボックスで4k以上の同期イベントベースおよびrgbイメージを含むTUMTraf Event Datasetを公開する。 広範な実験において,複数の移動物体を用いたキャリブレーション手法の有効性を確認した。 さらに, 1台のrgbカメラと比較して, 1日で最大+16%のマップ検出性能, 挑戦的な夜間に最大+12%のマップ検出性能を, イベントベースのセンサ融合法を用いて向上させた。 TUMTraf Event Datasetはhttps://innovation-mobility.com/tumtraf-datasetで公開されている。

関連論文リスト

• TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
  既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。 本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。 提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-08T12:19:08Z)
• Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
  EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
  論文  参考訳（メタデータ） (2024-03-12T06:04:50Z)
• CRSOT: Cross-Resolution Object Tracking using Unaligned Frame and Event Cameras [43.699819213559515]
  既存のRGB-DVSトラッキング用のデータセットは、DVS346カメラで収集される。 我々は、特別に構築されたデータ取得システムを用いて収集された、最初の不整合フレームイベントデータセットCRSOTを構築した。 ゆるやかなRGBイベントデータを用いても、ロバストなトラッキングを実現することのできる、新しい非整列オブジェクト追跡フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T14:20:22Z)
• EvPlug: Learn a Plug-and-Play Module for Event and Image Fusion [55.367269556557645]
  EvPlugは、既存のRGBベースのモデルの監視から、プラグアンドプレイイベントとイメージ融合モジュールを学習する。 オブジェクト検出,セマンティックセグメンテーション,3Dハンドポーズ推定などの視覚タスクにおいて,EvPlugの優位性を示す。
  論文  参考訳（メタデータ） (2023-12-28T10:05:13Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Chasing Day and Night: Towards Robust and Efficient All-Day Object Detection Guided by an Event Camera [8.673063170884591]
  EOLOは、RGBとイベントモダリティの両方を融合させることで、堅牢で効率的な全日検出を実現する、新しいオブジェクト検出フレームワークである。 我々のEOLOフレームワークは、イベントの非同期特性を効率的に活用するために、軽量スパイキングニューラルネットワーク(SNN)に基づいて構築されている。
  論文  参考訳（メタデータ） (2023-09-17T15:14:01Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• RGB-Event Fusion for Moving Object Detection in Autonomous Driving [3.5397758597664306]
  移動物体検出(MOD)は安全な自動運転を実現するための重要な視覚課題である。 センサ技術の最近の進歩、特にイベントカメラは、移動物体をより良くモデル化するための従来のカメラアプローチを自然に補完することができる。 我々は、より堅牢なMODを実現するために、2つの相補的モダリティを共同で活用する新しいRGB-Event fusion NetworkであるRENetを提案する。
  論文  参考訳（メタデータ） (2022-09-17T12:59:08Z)
• E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition [21.199869051111367]
  イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。 イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
  論文  参考訳（メタデータ） (2021-12-07T09:43:08Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。