論文の概要: Detecting Every Object from Events
- arxiv url: http://arxiv.org/abs/2404.05285v1
- Date: Mon, 8 Apr 2024 08:20:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 15:04:06.777876
- Title: Detecting Every Object from Events
- Title（参考訳）: イベントからすべてのオブジェクトを検出する
- Authors: Haitian Zhang, Chang Xu, Xinya Wang, Bingde Liu, Guang Hua, Lei Yu, Wen Yang,
- Abstract要約: 本稿では,イベントベースの視覚において,クラスに依存しない高速なオープンワールドオブジェクト検出を実現するためのアプローチとして,イベント中のすべてのオブジェクトの検出(DEOE)を提案する。
私たちのコードはhttps://github.com/Hatins/DEOEで公開されています。
- 参考スコア（独自算出の注目度）: 24.58024539462497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Object detection is critical in autonomous driving, and it is more practical yet challenging to localize objects of unknown categories: an endeavour known as Class-Agnostic Object Detection (CAOD). Existing studies on CAOD predominantly rely on ordinary cameras, but these frame-based sensors usually have high latency and limited dynamic range, leading to safety risks in real-world scenarios. In this study, we turn to a new modality enabled by the so-called event camera, featured by its sub-millisecond latency and high dynamic range, for robust CAOD. We propose Detecting Every Object in Events (DEOE), an approach tailored for achieving high-speed, class-agnostic open-world object detection in event-based vision. Built upon the fast event-based backbone: recurrent vision transformer, we jointly consider the spatial and temporal consistencies to identify potential objects. The discovered potential objects are assimilated as soft positive samples to avoid being suppressed as background. Moreover, we introduce a disentangled objectness head to separate the foreground-background classification and novel object discovery tasks, enhancing the model's generalization in localizing novel objects while maintaining a strong ability to filter out the background. Extensive experiments confirm the superiority of our proposed DEOE in comparison with three strong baseline methods that integrate the state-of-the-art event-based object detector with advancements in RGB-based CAOD. Our code is available at https://github.com/Hatins/DEOE.
- Abstract（参考訳）: 物体検出は、自律運転において重要であり、未知のカテゴリの物体をローカライズすることがより現実的かつ難しい:クラス非依存物体検出(CAOD)として知られる試みである。
CAODに関する既存の研究は主に通常のカメラに依存しているが、これらのフレームベースのセンサーは通常、レイテンシが高く、ダイナミックレンジが限られており、現実のシナリオでは安全性のリスクが生じる。
本研究では,そのサブミリ秒レイテンシと高ダイナミックレンジを特徴とする,いわゆるイベントカメラによって実現された新しいモダリティを,ロバストなCAODに適用する。
本稿では,イベントベースの視覚において,クラスに依存しない高速なオープンワールドオブジェクト検出を実現するためのアプローチとして,イベント中のすべてのオブジェクトの検出(DEOE)を提案する。
高速なイベントベースバックボーン(リカレント・ビジョン・トランスフォーマー)を基盤として,空間的および時間的コンバージェンスを共同で検討し,潜在的な物体を同定する。
検出されたポテンシャルオブジェクトは、背景として抑制されるのを避けるために、ソフトな正のサンプルとして同化される。
さらに,前景背景分類と新しい対象発見タスクを分離し,背景をフィルタリングする強力な能力を保ちながら,新しい対象の局所化におけるモデルの一般化を高めるために,不整合オブジェクトヘッドを導入する。
RGBベースのCAODの進歩と、最先端のイベントベースオブジェクト検出器を統合した3つの強力なベースライン手法と比較して、大規模な実験により、提案手法の優位性が確認された。
私たちのコードはhttps://github.com/Hatins/DEOEで公開されています。
関連論文リスト
- Open-World Object Detection with Instance Representation Learning [1.8749305679160366]
本研究では,新しい物体を検知し,オープンワールド条件下で意味的にリッチな特徴を抽出できる物体検知器の訓練手法を提案する。
提案手法は頑健で一般化可能な特徴空間を学習し,他のOWODに基づく特徴抽出法よりも優れている。
論文 参考訳（メタデータ） (2024-09-24T13:13:34Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Frequency Perception Network for Camouflaged Object Detection [51.26386921922031]
周波数領域のセマンティック階層によって駆動される新しい学習可能かつ分離可能な周波数知覚機構を提案する。
ネットワーク全体では、周波数誘導粗い局所化ステージと細部保存の微細局在化ステージを含む2段階モデルを採用している。
提案手法は,既存のモデルと比較して,3つのベンチマークデータセットにおいて競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-17T11:30:46Z) - PROB: Probabilistic Objectness for Open World Object Detection [15.574535196804042]
Open World Object Detection (OWOD)は、従来のオブジェクト検出(OD)ベンチマークと現実世界におけるオブジェクト検出のギャップを埋める新しいコンピュータビジョンタスクである。
本稿では,対象物の確率分布推定と対象度推定を交互に行う,対象度推定のための新しい確率的フレームワークを提案する。
Probabilistic Objectness-based open-world detector, PROBは、私たちのフレームワークを従来のオブジェクト検出モデルに統合します。
論文 参考訳（メタデータ） (2022-12-02T20:04:24Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - Implicit Motion Handling for Video Camouflaged Object Detection [60.98467179649398]
本稿では,新しいビデオカモフラージュオブジェクト検出(VCOD)フレームワークを提案する。
短期的および長期的整合性を利用して、ビデオフレームからカモフラージュされたオブジェクトを検出する。
論文 参考訳（メタデータ） (2022-03-14T17:55:41Z) - Learning to Track Object Position through Occlusion [32.458623495840904]
オクルージョンは、物体検出器やトラッカーが直面する最も重要な課題の1つである。
本稿では,領域ベースビデオオブジェクト検出装置の成功に基づくトラッキング・バイ・検出手法を提案する。
提案手法は,インターネットから収集した家具組立ビデオのデータセットにおいて,優れた結果が得られる。
論文 参考訳（メタデータ） (2021-06-20T22:29:46Z) - Robust Object Detection via Instance-Level Temporal Cycle Confusion [89.1027433760578]
物体検出器の分布外一般化を改善するための補助的自己監視タスクの有効性を検討する。
最大エントロピーの原理に触発されて,新しい自己監督タスクであるインスタンスレベル時間サイクル混乱(cycconf)を導入する。
それぞれのオブジェクトに対して、タスクは、ビデオ内の隣接するフレームで最も異なるオブジェクトの提案を見つけ、自己スーパービジョンのために自分自身にサイクルバックすることです。
論文 参考訳（メタデータ） (2021-04-16T21:35:08Z) - Slender Object Detection: Diagnoses and Improvements [74.40792217534]
本稿では,超高アスペクト比,すなわちtextbfslender オブジェクトの特定タイプの検出について検討する。
古典的物体検出法では、細い物体に対してのみ評価される場合、COCO上の18.9%のmAPの劇的な低下が観察される。
論文 参考訳（メタデータ） (2020-11-17T09:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。