論文の概要: Deep Learning for Event-based Vision: A Comprehensive Survey and
Benchmarks
- arxiv url: http://arxiv.org/abs/2302.08890v1
- Date: Fri, 17 Feb 2023 14:19:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:34:02.122672
- Title: Deep Learning for Event-based Vision: A Comprehensive Survey and
Benchmarks
- Title（参考訳）: イベントベースのビジョンのためのディープラーニング: 総合的な調査とベンチマーク
- Authors: Xu Zheng, Yexin Liu, Yunfan Lu, Tongyan Hua, Tianbo Pan, Weiming
Zhang, Dacheng Tao, Lin Wang
- Abstract要約: イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。
深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
我々は、イベントベースのビジョンのためのDL技術の最新の開発に焦点をあてて、包括的で詳細な調査を初めて実施する。
- 参考スコア（独自算出の注目度）: 88.44377206798484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are bio-inspired sensors that capture the per-pixel intensity
changes asynchronously and produce event streams encoding the time, pixel
position, and polarity (sign) of the intensity changes. Event cameras possess a
myriad of advantages over canonical frame-based cameras, such as high temporal
resolution, high dynamic range, low latency, etc. Being capable of capturing
information in challenging visual conditions, event cameras have the potential
to overcome the limitations of frame-based cameras in the computer vision and
robotics community. In very recent years, deep learning (DL) has been brought
to this emerging field and inspired active research endeavors in mining its
potential. However, the technical advances still remain unknown, thus making it
urgent and necessary to conduct a systematic overview. To this end, we conduct
the first yet comprehensive and in-depth survey, with a focus on the latest
developments of DL techniques for event-based vision. We first scrutinize the
typical event representations with quality enhancement methods as they play a
pivotal role as inputs to the DL models. We then provide a comprehensive
taxonomy for existing DL-based methods by structurally grouping them into two
major categories: 1) image reconstruction and restoration; 2) event-based scene
understanding 3D vision. Importantly, we conduct benchmark experiments for the
existing methods in some representative research directions (eg, object
recognition and optical flow estimation) to identify some critical insights and
problems. Finally, we make important discussions regarding the challenges and
provide new perspectives for motivating future research studies.
- Abstract（参考訳）: イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度変化を非同期に捉え、強度変化の時間、画素位置、極性(信号)を符号化するイベントストリームを生成する。
イベントカメラは、高時間分解能、高ダイナミックレンジ、低レイテンシなど、標準フレームベースのカメラよりも無数の利点を持っている。
難易度の高い視覚条件で情報をキャプチャできるため、イベントカメラはコンピュータビジョンとロボティクスのコミュニティにおけるフレームベースのカメラの限界を克服する可能性がある。
近年、深層学習(DL)がこの新興分野に導入され、その可能性のマイニングに活発な研究成果がもたらされた。
しかし、技術的進歩はまだ不明であり、急務であり、体系的な概観を行う必要がある。
この目的のために、我々は、イベントベースのビジョンのためのdl技術の最新の開発に焦点を当て、最初の包括的かつ深い調査を行う。
まず、DLモデルの入力として重要な役割を果たす品質向上手法を用いて、典型的なイベント表現を精査する。
次に、既存のDLベースの手法を2つの主要なカテゴリに分類し、包括的に分類する。
1) 画像の復元及び復元
2)3次元視覚のイベントベースシーン理解
重要なことは、いくつかの重要な洞察と問題を特定するために、いくつかの代表的な研究方向(オブジェクト認識と光フロー推定)で既存の手法のベンチマーク実験を行うことである。
最後に,課題について重要な議論を行い,今後の研究を動機付けるための新たな視点を提供する。
関連論文リスト
- Event-based Stereo Depth Estimation: A Survey [12.711235562366898]
ステレオプシスは、生物が私たちの3D世界をナビゲートする深度を知覚する主要な方法であるため、ロボット工学において広くアピールされている。
イベントカメラは、非常に高時間分解能と高ダイナミックレンジで、ピクセルごとの明るさ変化を非同期に検出する、バイオインスパイアされた新しいセンサーである。
高度の時間精度もステレオマッチングの恩恵を受けており、イベントカメラが登場して以来の一般的な研究領域として不透明度(深度)が評価されている。
論文 参考訳（メタデータ） (2024-09-26T09:43:50Z) - Recent Event Camera Innovations: A Survey [44.34401412004975]
人間の視覚システムにインスパイアされたイベントベースのビジョンは、低レイテンシ、高ダイナミックレンジ、消費電力の削減といったトランスフォーメーション機能を提供する。
本稿では、イベントカメラに関する総合的な調査を行い、その進化を経時的に追跡する。
この調査は、主要な製造業者による様々なイベントカメラモデル、重要な技術マイルストーン、そして影響力のある研究貢献をカバーしている。
論文 参考訳（メタデータ） (2024-08-24T16:48:25Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳（メタデータ） (2024-02-20T01:43:51Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Pedestrian detection with high-resolution event camera [0.0]
イベントカメラ(DVS)は、上記の問題に対処するための、潜在的に興味深い技術である。
本稿では,歩行者検出作業における深層学習によるイベントデータ処理の2つの方法の比較を行う。
ビデオフレーム,畳み込みニューラルネットワーク,非同期スパース畳み込みニューラルネットワークの形式で表現した。
論文 参考訳（メタデータ） (2023-05-29T10:57:59Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive Survey [52.73728442921428]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳（メタデータ） (2023-04-19T16:21:14Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳（メタデータ） (2022-10-27T17:59:53Z) - EVReflex: Dense Time-to-Impact Prediction for Event-based Obstacle
Avoidance [28.88113725832339]
イベントと深さの融合は、障害回避を行う際の個々のモダリティの障害ケースを克服することを示す。
提案手法は,イベントカメラとライダーストリームを一体化して,シーン形状や障害物の事前知識を必要とせずに計測時間とインパクトを推定する。
論文 参考訳（メタデータ） (2021-09-01T14:34:20Z) - Event-based Stereo Visual Odometry [42.77238738150496]
ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。
我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
論文 参考訳（メタデータ） (2020-07-30T15:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。