論文の概要: CoSEC: A Coaxial Stereo Event Camera Dataset for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2408.08500v1
- Date: Fri, 16 Aug 2024 02:55:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 16:50:01.697236
- Title: CoSEC: A Coaxial Stereo Event Camera Dataset for Autonomous Driving
- Title（参考訳）: CoSEC: 自動運転のための同軸ステレオカメラデータセット
- Authors: Shihan Peng, Hanyu Zhou, Hao Dong, Zhiwei Shi, Haoyue Liu, Yuxing Duan, Yi Chang, Luxin Yan,
- Abstract要約: ダイナミックレンジの高いイベントカメラは、マルチモーダル融合のためのフレームカメラのアシストに応用されている。
自動運転のための同軸ステレオイベントカメラ(CoSEC)データセットを提案する。
- 参考スコア（独自算出の注目度）: 15.611896480837316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional frame camera is the mainstream sensor of the autonomous driving scene perception, while it is limited in adverse conditions, such as low light. Event camera with high dynamic range has been applied in assisting frame camera for the multimodal fusion, which relies heavily on the pixel-level spatial alignment between various modalities. Typically, existing multimodal datasets mainly place event and frame cameras in parallel and directly align them spatially via warping operation. However, this parallel strategy is less effective for multimodal fusion, since the large disparity exacerbates spatial misalignment due to the large event-frame baseline. We argue that baseline minimization can reduce alignment error between event and frame cameras. In this work, we introduce hybrid coaxial event-frame devices to build the multimodal system, and propose a coaxial stereo event camera (CoSEC) dataset for autonomous driving. As for the multimodal system, we first utilize the microcontroller to achieve time synchronization, and then spatially calibrate different sensors, where we perform intra- and inter-calibration of stereo coaxial devices. As for the multimodal dataset, we filter LiDAR point clouds to generate depth and optical flow labels using reference depth, which is further improved by fusing aligned event and frame data in nighttime conditions. With the help of the coaxial device, the proposed dataset can promote the all-day pixel-level multimodal fusion. Moreover, we also conduct experiments to demonstrate that the proposed dataset can improve the performance and generalization of the multimodal fusion.
- Abstract（参考訳）: 従来のフレームカメラは自律走行シーン知覚の主流のセンサーであるが、低照度などの悪条件では制限されている。
高ダイナミックレンジのイベントカメラは、様々なモード間のピクセルレベルの空間的アライメントに大きく依存するマルチモーダル融合のためのフレームカメラのアシストに応用されている。
通常、既存のマルチモーダルデータセットは主にイベントとフレームカメラを並列に配置し、ワープ操作を通じて直接空間的に調整する。
しかし、この並列戦略は、大きなイベントフレームベースラインによる空間的不整合が悪化するため、マルチモーダル融合にはあまり効果がない。
ベースラインの最小化は、イベントカメラとフレームカメラのアライメント誤差を低減することができる。
本研究では,マルチモーダルシステム構築のためのハイブリッド同軸イベントフレームデバイスを導入し,自動運転のための同軸ステレオイベントカメラ(CoSEC)データセットを提案する。
マルチモーダルシステムでは、まずマイクロコントローラを用いて時間同期を行い、次に空間的に異なるセンサを校正し、ステレオ同軸デバイスの校正と校正を行う。
マルチモーダルデータセットでは、LDAR点雲をフィルタリングして参照深度を用いて深度と光フローラベルを生成する。
同軸装置の助けを借りて、提案したデータセットは、全日のピクセルレベルのマルチモーダル融合を促進することができる。
さらに,提案したデータセットがマルチモーダル融合の性能と一般化を向上できることを示す実験も行った。
関連論文リスト
- X-Drive: Cross-modality consistent multi-sensor data synthesis for driving scenarios [105.16073169351299]
本稿では,点雲と多視点画像の連成分布をモデル化する新しいフレームワーク,X-DRIVEを提案する。
2つのモダリティの異なる幾何学的空間を考えると、X-DRIVE条件は対応する局所領域上の各モダリティの合成である。
X-DRIVEはテキスト、バウンディングボックス、画像、点雲を含む多レベル入力条件を通じて制御可能な生成を可能にする。
論文 参考訳（メタデータ） (2024-11-02T03:52:12Z) - Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。
カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。
IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
論文 参考訳（メタデータ） (2024-09-11T08:36:49Z) - An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。
提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-09-03T12:37:59Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2023-07-17T04:02:00Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - Frame-Event Alignment and Fusion Network for High Frame Rate Tracking [37.35823883499189]
既存のRGBベースのトラッカーのほとんどは、毎秒約30フレームの低フレームレートベンチマークをターゲットにしている。
マルチモーダリティアライメントと融合モジュールからなるエンドツーエンドネットワークを提案する。
FE240hzデータセットを用いることで,240Hzまでのフレーム速度の追跡が可能となる。
論文 参考訳（メタデータ） (2023-05-25T03:34:24Z) - Self-Supervised Intensity-Event Stereo Matching [24.851819610561517]
イベントカメラはバイオインスパイアされた新しい視覚センサーで、マイクロ秒の精度でピクセルレベルの強度変化を出力する。
イベントカメラは、高品質の強度とイベントを同時に得ることができないため、計算画像タスクに直接適用することはできない。
本稿では,スタンドアロンのイベントカメラと近代的な強度カメラを接続して,両センサを応用することを目的としている。
論文 参考訳（メタデータ） (2022-11-01T14:52:25Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception [17.585862399941544]
イベントカメラは、各ピクセルの明るさ変化を微妙な時間分解能で独立に報告する際、制限に対処する。
統合型複合イベントフレームセンサー(DAVIS)が利用可能だが、データの品質はそのようなカメラの回路製造におけるピクセルレベルでの結合によって損なわれる。
本稿では,高品質なイベントカメラと純粋なフレームカメラを分離したセンサモダリティを提供するステレオハイブリッドイベントフレーム(SHEF)カメラシステムを提案する。
論文 参考訳（メタデータ） (2021-10-11T04:03:36Z) - LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic
Segmentation [78.74202673902303]
本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。
提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。
これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
論文 参考訳（メタデータ） (2021-08-17T08:53:11Z) - VisEvent: Reliable Object Tracking via Collaboration of Frame and Event
Flows [93.54888104118822]
このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。
私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。
VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
論文 参考訳（メタデータ） (2021-08-11T03:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。