論文の概要: Event-to-Video Conversion for Overhead Object Detection

• arxiv url: http://arxiv.org/abs/2402.06805v1
• Date: Fri, 9 Feb 2024 22:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 19:21:51.656800
• Title: Event-to-Video Conversion for Overhead Object Detection
• Title（参考訳）: オーバーヘッド物体検出のためのイベントからビデオへの変換
• Authors: Darryl Hannan, Ragib Arnab, Gavin Parpart, Garrett T. Kenyon, Edward Kim, and Yijing Watkins
• Abstract要約: イベントカメラは、特にオブジェクト検出などの複雑なタスクにおいて、下流の画像処理を複雑にする。 本稿では,高密度イベント表現とそれに対応するRGBフレームの間には,大きな差があることを述べる。 このギャップを埋めるために、イベントストリームをグレースケールのビデオに変換するイベント間変換モデルを適用する。
• 参考スコア（独自算出の注目度）: 7.744259147081667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collecting overhead imagery using an event camera is desirable due to the energy efficiency of the image sensor compared to standard cameras. However, event cameras complicate downstream image processing, especially for complex tasks such as object detection. In this paper, we investigate the viability of event streams for overhead object detection. We demonstrate that across a number of standard modeling approaches, there is a significant gap in performance between dense event representations and corresponding RGB frames. We establish that this gap is, in part, due to a lack of overlap between the event representations and the pre-training data used to initialize the weights of the object detectors. Then, we apply event-to-video conversion models that convert event streams into gray-scale video to close this gap. We demonstrate that this approach results in a large performance increase, outperforming even event-specific object detection techniques on our overhead target task. These results suggest that better alignment between event representations and existing large pre-trained models may result in greater short-term performance gains compared to end-to-end event-specific architectural improvements.
• Abstract（参考訳）: 標準カメラに比べて画像センサのエネルギー効率が高いため,イベントカメラを用いたオーバーヘッド画像の収集が望ましい。 しかし、イベントカメラは、特にオブジェクト検出のような複雑なタスクにおいて、下流の画像処理を複雑にする。 本稿では,オーバーヘッドオブジェクト検出のためのイベントストリームの実現可能性について検討する。 我々は,多数の標準モデリング手法において,高密度イベント表現と対応するRGBフレームの間には大きな差があることを実証した。 このギャップは、部分的には、イベント表現と、物体検出器の重み付けを初期化するために使用される事前トレーニングデータとの重なりの欠如によるものである。 次に、イベントストリームをグレースケールのビデオに変換するイベント間変換モデルを適用し、このギャップを埋める。 このアプローチは大きなパフォーマンス向上をもたらし、オーバーヘッドターゲットタスクにおいてイベント特異的なオブジェクト検出技術よりも優れています。 これらの結果から,イベント表現と既存の大規模事前学習モデルとの整合性が向上すれば,エンドツーエンドのイベント固有のアーキテクチャ改善と比較して,短期的なパフォーマンス向上が期待できる。

関連論文リスト

• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Motion Robust High-Speed Light-Weighted Object Detection With Event Camera [24.192961837270172]
  イベントデータをよりよく活用する動き堅牢で高速な検出パイプラインを提案する。 2つの典型的な実景イベントカメラオブジェクト検出データセットの実験により,本手法は精度,効率,パラメータ数において競合することを示した。
  論文  参考訳（メタデータ） (2022-08-24T15:15:24Z)
• Moving Object Detection for Event-based vision using Graph Spectral Clustering [6.354824287948164]
  移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。 イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。 さらに,移動物体の最適個数を自動決定する方法について述べる。
  論文  参考訳（メタデータ） (2021-09-30T10:19:22Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。 フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
  論文  参考訳（メタデータ） (2020-09-28T16:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。