論文の概要: Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks
- arxiv url: http://arxiv.org/abs/2302.08890v3
- Date: Thu, 11 Apr 2024 15:34:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 19:37:39.787802
- Title: Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks
- Title（参考訳）: イベントベースのビジョンのためのディープラーニング: 総合的な調査とベンチマーク
- Authors: Xu Zheng, Yexin Liu, Yunfan Lu, Tongyan Hua, Tianbo Pan, Weiming Zhang, Dacheng Tao, Lin Wang,
- Abstract要約: イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。
深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
- 参考スコア（独自算出の注目度）: 55.81577205593956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are bio-inspired sensors that capture the per-pixel intensity changes asynchronously and produce event streams encoding the time, pixel position, and polarity (sign) of the intensity changes. Event cameras possess a myriad of advantages over canonical frame-based cameras, such as high temporal resolution, high dynamic range, low latency, etc. Being capable of capturing information in challenging visual conditions, event cameras have the potential to overcome the limitations of frame-based cameras in the computer vision and robotics community. In very recent years, deep learning (DL) has been brought to this emerging field and inspired active research endeavors in mining its potential. However, there is still a lack of taxonomies in DL techniques for event-based vision. We first scrutinize the typical event representations with quality enhancement methods as they play a pivotal role as inputs to the DL models. We then provide a comprehensive survey of existing DL-based methods by structurally grouping them into two major categories: 1) image/video reconstruction and restoration; 2) event-based scene understanding and 3D vision. We conduct benchmark experiments for the existing methods in some representative research directions, i.e., image reconstruction, deblurring, and object recognition, to identify some critical insights and problems. Finally, we have discussions regarding the challenges and provide new perspectives for inspiring more research studies.
- Abstract（参考訳）: イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度変化を非同期に捉え、強度変化の時間、画素位置、極性(信号)を符号化するイベントストリームを生成する。
イベントカメラは、高時間分解能、高ダイナミックレンジ、低レイテンシなど、標準的なフレームベースのカメラに対して無数の利点を持っている。
難易度の高い視覚条件で情報をキャプチャできるため、イベントカメラはコンピュータビジョンとロボティクスのコミュニティにおけるフレームベースのカメラの限界を克服する可能性がある。
近年、深層学習(DL)がこの新興分野に導入され、その可能性のマイニングに活発な研究成果がもたらされた。
しかし、イベントベースのビジョンのためのDL技術には、いまだに分類学の欠如がある。
まず、DLモデルへの入力として重要な役割を果たす品質向上手法を用いて、典型的なイベント表現を精査する。
次に、既存のDLベースの手法を2つの主要なカテゴリに分類し、包括的に調査する。
1) 画像・映像の復元及び復元
2)イベントベースのシーン理解と3Dビジョン。
我々は,いくつかの代表的な研究方向,すなわち画像再構成,デブロアリング,オブジェクト認識において,既存の手法のベンチマーク実験を行い,いくつかの重要な洞察と問題を特定する。
最後に、課題について議論し、さらなる研究を刺激するための新たな視点を提供する。
関連論文リスト
- Event-based Stereo Depth Estimation: A Survey [12.711235562366898]
ステレオプシスは、生物が私たちの3D世界をナビゲートする深度を知覚する主要な方法であるため、ロボット工学において広くアピールされている。
イベントカメラは、非常に高時間分解能と高ダイナミックレンジで、ピクセルごとの明るさ変化を非同期に検出する、バイオインスパイアされた新しいセンサーである。
高度の時間精度もステレオマッチングの恩恵を受けており、イベントカメラが登場して以来の一般的な研究領域として不透明度(深度)が評価されている。
論文 参考訳（メタデータ） (2024-09-26T09:43:50Z) - Recent Event Camera Innovations: A Survey [44.34401412004975]
人間の視覚システムにインスパイアされたイベントベースのビジョンは、低レイテンシ、高ダイナミックレンジ、消費電力の削減といったトランスフォーメーション機能を提供する。
本稿では、イベントカメラに関する総合的な調査を行い、その進化を経時的に追跡する。
この調査は、主要な製造業者による様々なイベントカメラモデル、重要な技術マイルストーン、そして影響力のある研究貢献をカバーしている。
論文 参考訳（メタデータ） (2024-08-24T16:48:25Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳（メタデータ） (2024-02-20T01:43:51Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Pedestrian detection with high-resolution event camera [0.0]
イベントカメラ(DVS)は、上記の問題に対処するための、潜在的に興味深い技術である。
本稿では,歩行者検出作業における深層学習によるイベントデータ処理の2つの方法の比較を行う。
ビデオフレーム,畳み込みニューラルネットワーク,非同期スパース畳み込みニューラルネットワークの形式で表現した。
論文 参考訳（メタデータ） (2023-05-29T10:57:59Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2023-04-19T16:21:14Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳（メタデータ） (2022-10-27T17:59:53Z) - EVReflex: Dense Time-to-Impact Prediction for Event-based Obstacle
Avoidance [28.88113725832339]
イベントと深さの融合は、障害回避を行う際の個々のモダリティの障害ケースを克服することを示す。
提案手法は,イベントカメラとライダーストリームを一体化して,シーン形状や障害物の事前知識を必要とせずに計測時間とインパクトを推定する。
論文 参考訳（メタデータ） (2021-09-01T14:34:20Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳（メタデータ） (2020-07-30T15:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。