論文の概要: Multi-domain Collaborative Feature Representation for Robust Visual
Object Tracking
- arxiv url: http://arxiv.org/abs/2108.04521v1
- Date: Tue, 10 Aug 2021 09:01:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 14:22:07.508954
- Title: Multi-domain Collaborative Feature Representation for Robust Visual
Object Tracking
- Title(参考訳): ロバストな視覚オブジェクト追跡のための多領域協調特徴表現
- Authors: Jiqing Zhang and Kai Zhao and Bo Dong and Yingkai Fu and Yuxin Wang
and Xin Yang and Baocai Yin
- Abstract要約: 本稿では,フレームドメインとイベントドメインの相補的特徴を効果的に表現し,活用することに焦点を当てる。
2つのドメインの特徴を学習するために、スパイキングニューラルネットワークに基づくイベントのためのユニークなエクストラクタ(UEE)を利用する。
標準RGBベンチマークと実イベント追跡データセットの実験は、提案手法の有効性を実証している。
- 参考スコア(独自算出の注目度): 32.760681454334765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Jointly exploiting multiple different yet complementary domain information
has been proven to be an effective way to perform robust object tracking. This
paper focuses on effectively representing and utilizing complementary features
from the frame domain and event domain for boosting object tracking performance
in challenge scenarios. Specifically, we propose Common Features Extractor
(CFE) to learn potential common representations from the RGB domain and event
domain. For learning the unique features of the two domains, we utilize a
Unique Extractor for Event (UEE) based on Spiking Neural Networks to extract
edge cues in the event domain which may be missed in RGB in some challenging
conditions, and a Unique Extractor for RGB (UER) based on Deep Convolutional
Neural Networks to extract texture and semantic information in RGB domain.
Extensive experiments on standard RGB benchmark and real event tracking dataset
demonstrate the effectiveness of the proposed approach. We show our approach
outperforms all compared state-of-the-art tracking algorithms and verify
event-based data is a powerful cue for tracking in challenging scenes.
- Abstract(参考訳): 複数の異なる補完的なドメイン情報を共同で活用することは、堅牢なオブジェクト追跡を実行する効果的な方法であることが証明されている。
本稿では,課題シナリオにおけるオブジェクト追跡性能向上のために,フレームドメインとイベントドメインの補完機能を効果的に表現し,活用することに焦点を当てる。
具体的には,RGBドメインとイベントドメインから共通表現を学習するための共通特徴エクストラクタ(CFE)を提案する。
2つのドメインのユニークな特徴を学習するために、スパイキングニューラルネットワークに基づくユニークなイベントエクストラクタ(UEE)を用いて、いくつかの困難な条件下でRGBに欠落する可能性のあるイベントドメインのエッジキューを抽出し、深部畳み込みニューラルネットワークに基づくRGBのためのユニークなエクストラクタを用いて、RGBドメインのテクスチャとセマンティック情報を抽出する。
標準RGBベンチマークと実イベント追跡データセットの大規模な実験により,提案手法の有効性が示された。
我々のアプローチは、最先端のトラッキングアルゴリズムよりも優れており、イベントベースのデータが、困難な場面で追跡するための強力なキューであることを示す。
関連論文リスト
- Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。
本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-12-24T12:47:08Z) - Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - SPADES: A Realistic Spacecraft Pose Estimation Dataset using Event
Sensing [9.583223655096077]
実際のターゲットデータセットへのアクセスが限られているため、アルゴリズムはしばしば合成データを使用して訓練され、実際のドメインに適用される。
イベントセンシングは過去にも行われており、シミュレーションと実世界のシナリオの間のドメインギャップを減らすことが示されている。
制御された実験室で取得した実イベントデータと、同じカメラ内在性を用いてイベントデータをシミュレートした新しいデータセットSPADESを提案する。
論文 参考訳(メタデータ) (2023-11-09T12:14:47Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - Revisiting Color-Event based Tracking: A Unified Network, Dataset, and
Metric [53.88188265943762]
上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。
提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
論文 参考訳(メタデータ) (2022-11-20T16:01:31Z) - Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。
既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。
DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文 参考訳(メタデータ) (2022-11-06T07:59:07Z) - Specificity-preserving RGB-D Saliency Detection [103.3722116992476]
本稿では,RGB-Dサリエンシ検出のための特異性保存ネットワーク(SP-Net)を提案する。
2つのモダリティ特化ネットワークと共有学習ネットワークを採用し、個別および共有唾液マップを生成する。
6つのベンチマークデータセットの実験では、SP-Netは他の最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2021-08-18T14:14:22Z) - DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using
Domain Adaptation [22.804074390795734]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
これらのセンサーの新規性は、その可能性を解き放つことができる大量のトレーニングデータの欠如をもたらす。
本稿では,フレームベースのイベント表現の特質を活かした新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-03-23T18:09:20Z) - RGBT Tracking via Multi-Adapter Network with Hierarchical Divergence
Loss [37.99375824040946]
本稿では,モダリティ共有型,モダリティ特化型,インスタンス認識型ターゲット表現学習を共同で行うための,新しいマルチアダプタネットワークを提案する。
2つのRGBT追跡ベンチマークデータセットの実験は、提案したトラッカーの優れた性能を示す。
論文 参考訳(メタデータ) (2020-11-14T01:50:46Z) - Efficient RGB-D Semantic Segmentation for Indoor Scene Analysis [16.5390740005143]
NVIDIARTを用いて高次に最適化可能な,効率的かつ堅牢なRGB-Dセグメンテーション手法を提案する。
RGB-Dセグメンテーションは、RGB画像のみを処理するよりも優れており、ネットワークアーキテクチャが慎重に設計されている場合、リアルタイムに実行可能であることを示す。
論文 参考訳(メタデータ) (2020-11-13T15:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。