論文の概要: Deep Learning for Event-based Vision: A Comprehensive Survey and
Benchmarks
- arxiv url: http://arxiv.org/abs/2302.08890v1
- Date: Fri, 17 Feb 2023 14:19:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:34:02.122672
- Title: Deep Learning for Event-based Vision: A Comprehensive Survey and
Benchmarks
- Title(参考訳): イベントベースのビジョンのためのディープラーニング: 総合的な調査とベンチマーク
- Authors: Xu Zheng, Yexin Liu, Yunfan Lu, Tongyan Hua, Tianbo Pan, Weiming
Zhang, Dacheng Tao, Lin Wang
- Abstract要約: イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度の変化を非同期に捉える。
深層学習(DL)はこの新興分野に導入され、その可能性のマイニングに活発な研究努力にインスピレーションを与えている。
我々は、イベントベースのビジョンのためのDL技術の最新の開発に焦点をあてて、包括的で詳細な調査を初めて実施する。
- 参考スコア(独自算出の注目度): 88.44377206798484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are bio-inspired sensors that capture the per-pixel intensity
changes asynchronously and produce event streams encoding the time, pixel
position, and polarity (sign) of the intensity changes. Event cameras possess a
myriad of advantages over canonical frame-based cameras, such as high temporal
resolution, high dynamic range, low latency, etc. Being capable of capturing
information in challenging visual conditions, event cameras have the potential
to overcome the limitations of frame-based cameras in the computer vision and
robotics community. In very recent years, deep learning (DL) has been brought
to this emerging field and inspired active research endeavors in mining its
potential. However, the technical advances still remain unknown, thus making it
urgent and necessary to conduct a systematic overview. To this end, we conduct
the first yet comprehensive and in-depth survey, with a focus on the latest
developments of DL techniques for event-based vision. We first scrutinize the
typical event representations with quality enhancement methods as they play a
pivotal role as inputs to the DL models. We then provide a comprehensive
taxonomy for existing DL-based methods by structurally grouping them into two
major categories: 1) image reconstruction and restoration; 2) event-based scene
understanding 3D vision. Importantly, we conduct benchmark experiments for the
existing methods in some representative research directions (eg, object
recognition and optical flow estimation) to identify some critical insights and
problems. Finally, we make important discussions regarding the challenges and
provide new perspectives for motivating future research studies.
- Abstract(参考訳): イベントカメラはバイオインスパイアされたセンサーで、ピクセルごとの強度変化を非同期に捉え、強度変化の時間、画素位置、極性(信号)を符号化するイベントストリームを生成する。
イベントカメラは、高時間分解能、高ダイナミックレンジ、低レイテンシなど、標準フレームベースのカメラよりも無数の利点を持っている。
難易度の高い視覚条件で情報をキャプチャできるため、イベントカメラはコンピュータビジョンとロボティクスのコミュニティにおけるフレームベースのカメラの限界を克服する可能性がある。
近年、深層学習(DL)がこの新興分野に導入され、その可能性のマイニングに活発な研究成果がもたらされた。
しかし、技術的進歩はまだ不明であり、急務であり、体系的な概観を行う必要がある。
この目的のために、我々は、イベントベースのビジョンのためのdl技術の最新の開発に焦点を当て、最初の包括的かつ深い調査を行う。
まず、DLモデルの入力として重要な役割を果たす品質向上手法を用いて、典型的なイベント表現を精査する。
次に、既存のDLベースの手法を2つの主要なカテゴリに分類し、包括的に分類する。
1) 画像の復元及び復元
2)3次元視覚のイベントベースシーン理解
重要なことは、いくつかの重要な洞察と問題を特定するために、いくつかの代表的な研究方向(オブジェクト認識と光フロー推定)で既存の手法のベンチマーク実験を行うことである。
最後に,課題について重要な議論を行い,今後の研究を動機付けるための新たな視点を提供する。
関連論文リスト
- Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳(メタデータ) (2024-02-20T01:43:51Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳(メタデータ) (2024-01-16T05:10:50Z) - Self-supervised Interest Point Detection and Description for Fisheye and
Perspective Images [7.451395029642832]
キーポイント検出とマッチングは多くのコンピュータビジョンにおける基本的な課題である。
本研究では,画像取得に使用されるカメラの形状が原因で発生する場合に焦点をあてる。
我々は最先端のアプローチを構築し、関心点検出器と記述子ネットワークのトレーニングを可能にする自己監督的な手順を導出する。
論文 参考訳(メタデータ) (2023-06-02T22:39:33Z) - Event-based Simultaneous Localization and Mapping: A Comprehensive
Survey [67.89650389832147]
ローカライゼーションとマッピングタスクのための非同期および不規則なイベントストリームの利点を利用する、イベントベースのvSLAMアルゴリズムのレビュー。
Paperは、イベントベースのvSLAMメソッドを、特徴ベース、ダイレクト、モーション補償、ディープラーニングの4つのカテゴリに分類する。
論文 参考訳(メタデータ) (2023-04-19T16:21:14Z) - State of the Art in Dense Monocular Non-Rigid 3D Reconstruction [100.9586977875698]
モノクル2D画像から変形可能なシーン(または非剛体)の3D再構成は、コンピュータビジョンとグラフィックスの長年、活発に研究されてきた領域である。
本研究は,モノクラー映像やモノクラービューの集合から,様々な変形可能な物体や複合シーンを高密度に非剛性で再現するための最先端の手法に焦点を当てる。
論文 参考訳(メタデータ) (2022-10-27T17:59:53Z) - Deep Learning for Omnidirectional Vision: A Survey and New Perspectives [7.068031114801553]
本稿では,全方向視覚のためのディープラーニング手法の最近の進歩について,体系的かつ包括的なレビューと分析を行う。
i)全方位画像の原理,ODI上の畳み込み手法,およびデータセットの導入により,2次元平面画像データとの違いと難易度を明らかにすること,(ii)全方位視覚のためのDL手法の構造的・階層的分類,(iii)最新の学習戦略と応用の要約である。
論文 参考訳(メタデータ) (2022-05-21T00:19:56Z) - 3D Object Detection from Images for Autonomous Driving: A Survey [68.33502122185813]
画像から3Dオブジェクトを検出することは、自動運転の基本的かつ困難な問題の一つだ。
この問題を2015年から2021年にかけて200以上の研究が行われ、理論、アルゴリズム、応用の幅広い範囲で研究されている。
我々は,この新奇で継続的な研究分野を包括的に調査し,画像に基づく3D検出に最もよく使用されるパイプラインを要約する。
論文 参考訳(メタデータ) (2022-02-07T07:12:24Z) - EVReflex: Dense Time-to-Impact Prediction for Event-based Obstacle
Avoidance [28.88113725832339]
イベントと深さの融合は、障害回避を行う際の個々のモダリティの障害ケースを克服することを示す。
提案手法は,イベントカメラとライダーストリームを一体化して,シーン形状や障害物の事前知識を必要とせずに計測時間とインパクトを推定する。
論文 参考訳(メタデータ) (2021-09-01T14:34:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。