論文の概要: Tracking-Assisted Object Detection with Event Cameras
- arxiv url: http://arxiv.org/abs/2403.18330v2
- Date: Mon, 12 Aug 2024 03:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:38:15.615371
- Title: Tracking-Assisted Object Detection with Event Cameras
- Title（参考訳）: イベントカメラを用いた追跡支援物体検出
- Authors: Ting-Kang Yen, Igor Morawski, Shusil Dangi, Kai He, Chung-Yi Lin, Jia-Fong Yeh, Hung-Ting Su, Winston Hsu,
- Abstract要約: イベントベースのオブジェクト検出は、コンピュータビジョンコミュニティで最近注目を集めている。
しかし、特徴的不規則性や空間性は、カメラに対する相対的な動きがないため、見えない物体を生じさせる。
本稿では、これらの見えない物体を擬似隠蔽物体とみなす。
擬似隠蔽オブジェクトのトラッキング戦略を利用して、永続性を維持し、バウンディングボックスを保持する。
- 参考スコア（独自算出の注目度）: 16.408606403997005
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Event-based object detection has recently garnered attention in the computer vision community due to the exceptional properties of event cameras, such as high dynamic range and no motion blur. However, feature asynchronism and sparsity cause invisible objects due to no relative motion to the camera, posing a significant challenge in the task. Prior works have studied various implicit-learned memories to retain as many temporal cues as possible. However, implicit memories still struggle to preserve long-term features effectively. In this paper, we consider those invisible objects as pseudo-occluded objects and aim to detect them by tracking through occlusions. Firstly, we introduce the visibility attribute of objects and contribute an auto-labeling algorithm to not only clean the existing event camera dataset but also append additional visibility labels to it. Secondly, we exploit tracking strategies for pseudo-occluded objects to maintain their permanence and retain their bounding boxes, even when features have not been available for a very long time. These strategies can be treated as an explicit-learned memory guided by the tracking objective to record the displacements of objects across frames. Lastly, we propose a spatio-temporal feature aggregation module to enrich the latent features and a consistency loss to increase the robustness of the overall pipeline. We conduct comprehensive experiments to verify our method's effectiveness where still objects are retained, but real occluded objects are discarded. The results demonstrate that (1) the additional visibility labels can assist in supervised training, and (2) our method outperforms state-of-the-art approaches with a significant improvement of 7.9% absolute mAP.
- Abstract（参考訳）: イベントベースのオブジェクト検出は、高ダイナミックレンジや動きのぼけのないようなイベントカメラの異常な特性のために、コンピュータビジョンコミュニティで最近注目を集めている。
しかし、特徴的不整脈と空間性は、カメラに相対的な動きがないために見えない物体を生じさせ、タスクにおいて重大な課題を生じさせる。
先行研究は、可能な限り多くの時間的手がかりを保持するために様々な暗黙の記憶を研究してきた。
しかし、暗黙の記憶は長期的な特徴を効果的に保つのに苦戦している。
本稿では,これらの見えない物体を擬似隠蔽物体とみなし,隠蔽物体の追跡によって検出することを目的とする。
まず、オブジェクトの可視性属性を導入し、既存のイベントカメラデータセットをクリーニングするだけでなく、それに追加の可視性ラベルを追加する自動ラベルアルゴリズムに貢献する。
第二に、擬似隠蔽オブジェクトのトラッキング戦略を利用して、機能が非常に長い間利用されていない場合でも、その永続性を維持し、バウンディングボックスを維持する。
これらの戦略は、追跡対象によって導かれる明示的な学習メモリとして扱われ、フレーム間のオブジェクトの変位を記録することができる。
最後に,パイプライン全体のロバスト性を高めるために,潜伏する特徴を豊かにするための時空間的特徴集約モジュールと一貫性損失を提案する。
我々は、静止オブジェクトが保持されている場合のメソッドの有効性を検証するため、包括的な実験を行うが、実際の隠蔽オブジェクトは破棄される。
以上の結果から,(1)教師付きトレーニング支援のための可視性ラベルを付加し,(2)最先端の手法よりも優れた7.9%の絶対mAPを達成できた。
関連論文リスト
- Leveraging Object Priors for Point Tracking [25.030407197192]
ポイントトラッキングは、コンピュータビジョンにおける基本的な問題であり、多くのARやロボット工学への応用がある。
本稿では,対象の先行点に注意を向ける新たな対象性正規化手法を提案する。
提案手法は,3点追跡ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-09-09T16:48:42Z) - Few-shot Oriented Object Detection with Memorable Contrastive Learning in Remote Sensing Images [11.217630579076237]
リモートセンシングの分野では、FSOD(Few-shot Object Detection)が注目されている。
本稿では,Few-shot Oriented Object Detection with Memorable Contrastive Learning (FOMC) という,リモートセンシングのための新しいFSOD法を提案する。
具体的には、従来の水平有界ボックスの代わりに指向的有界ボックスを用いて、任意指向の空中オブジェクトのより優れた特徴表現を学習する。
論文 参考訳（メタデータ） (2024-03-20T08:15:18Z) - SeMoLi: What Moves Together Belongs Together [51.72754014130369]
動作手がかりに基づく半教師付き物体検出に挑戦する。
近年,移動物体の擬似ラベルインスタンスに対して,動きに基づくクラスタリング手法が適用可能であることが示唆された。
我々は、このアプローチを再考し、オブジェクト検出とモーションインスパイアされた擬似ラベルの両方が、データ駆動方式で取り組めることを示唆する。
論文 参考訳（メタデータ） (2024-02-29T18:54:53Z) - Object-centric Cross-modal Feature Distillation for Event-based Object
Detection [87.50272918262361]
RGB検出器は、イベントデータのばらつきと視覚的詳細の欠如により、イベントベースの検出器よりも優れている。
これら2つのモード間の性能ギャップを縮めるための新しい知識蒸留手法を開発した。
対象中心蒸留により,イベントベースの学生物体検出装置の性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-11-09T16:33:08Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳（メタデータ） (2023-09-01T03:34:12Z) - Tackling Background Distraction in Video Object Segmentation [7.187425003801958]
ビデオオブジェクトセグメンテーション(VOS)は、ビデオ内の特定のオブジェクトを密に追跡することを目的としている。
このタスクの主な課題の1つは、ターゲットオブジェクトに類似したように見えるバックグラウンド・トラクタの存在である。
このような混乱を抑制するための3つの新しい戦略を提案する。
我々のモデルは,リアルタイムな性能であっても,現代の最先端手法に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2022-07-14T14:25:19Z) - Object Permanence Emerges in a Random Walk along Memory [37.78331373391444]
記憶の時間的コヒーレンスを最適化することで、物体の永続性が現れることを示す。
これにより、隠されたオブジェクトを格納し、その動きを予測し、よりローカライズするメモリ表現につながる。
結果として得られるモデルは、複雑さとリアリズムを増大させるいくつかのデータセットにおける既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-04-04T18:28:24Z) - Learning to Track Object Position through Occlusion [32.458623495840904]
オクルージョンは、物体検出器やトラッカーが直面する最も重要な課題の1つである。
本稿では,領域ベースビデオオブジェクト検出装置の成功に基づくトラッキング・バイ・検出手法を提案する。
提案手法は,インターネットから収集した家具組立ビデオのデータセットにおいて,優れた結果が得られる。
論文 参考訳（メタデータ） (2021-06-20T22:29:46Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳（メタデータ） (2021-03-26T04:43:04Z) - Detecting Invisible People [58.49425715635312]
我々は,追跡ベンチマークを再利用し,目立たない物体を検出するための新しい指標を提案する。
私たちは、現在の検出および追跡システムがこのタスクで劇的に悪化することを実証します。
第2に,最先端の単眼深度推定ネットワークによる観測結果を用いて,3次元で明示的に推論する動的モデルを構築した。
論文 参考訳（メタデータ） (2020-12-15T16:54:45Z) - Slender Object Detection: Diagnoses and Improvements [74.40792217534]
本稿では,超高アスペクト比,すなわちtextbfslender オブジェクトの特定タイプの検出について検討する。
古典的物体検出法では、細い物体に対してのみ評価される場合、COCO上の18.9%のmAPの劇的な低下が観察される。
論文 参考訳（メタデータ） (2020-11-17T09:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。