論文の概要: TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking
- arxiv url: http://arxiv.org/abs/2405.05004v1
- Date: Wed, 8 May 2024 12:19:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-09 14:35:00.674287
- Title: TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking
- Title（参考訳）: TENet:RGB-Eオブジェクト追跡のためのマルチスケールプールと相互誘導融合を組み合わせたターゲットエンタングルメント
- Authors: Pengcheng Shao, Tianyang Xu, Zhangyong Tang, Linze Li, Xiao-Jun Wu, Josef Kittler,
- Abstract要約: 既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。
本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。
提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
- 参考スコア（独自算出の注目度）: 30.89375068036783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is currently strong interest in improving visual object tracking by augmenting the RGB modality with the output of a visual event camera that is particularly informative about the scene motion. However, existing approaches perform event feature extraction for RGB-E tracking using traditional appearance models, which have been optimised for RGB only tracking, without adapting it for the intrinsic characteristics of the event data. To address this problem, we propose an Event backbone (Pooler), designed to obtain a high-quality feature representation that is cognisant of the innate characteristics of the event data, namely its sparsity. In particular, Multi-Scale Pooling is introduced to capture all the motion feature trends within event data through the utilisation of diverse pooling kernel sizes. The association between the derived RGB and event representations is established by an innovative module performing adaptive Mutually Guided Fusion (MGF). Extensive experimental results show that our method significantly outperforms state-of-the-art trackers on two widely used RGB-E tracking datasets, including VisEvent and COESOT, where the precision and success rates on COESOT are improved by 4.9% and 5.2%, respectively. Our code will be available at https://github.com/SSSpc333/TENet.
- Abstract（参考訳）: 映像イベントカメラの出力によってRGBのモダリティを増大させることにより、現在、視覚的物体追跡の改善に強い関心が寄せられている。
しかし、既存手法では、イベントデータ固有の特性に適応することなく、RGBのみのトラッキングに最適化された従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。
この問題に対処するために,イベントバックボーン(Pooler)を提案する。これは,イベントデータの固有特性,すなわちその疎さを認識可能な,高品質な特徴表現を実現するために設計されたものだ。
特にマルチスケールプーリングは、さまざまなスプーリングカーネルサイズを活用して、イベントデータ内のすべてのモーションフィーチャートレンドをキャプチャするために導入された。
派生RGBとイベント表現の関連性は、適応的Mutually Guided Fusion (MGF)を実行する革新的なモジュールによって確立される。
広汎な実験結果から,COESOTの精度と成功率をそれぞれ4.9%,5.2%向上させたVisEventやCOESOTなど,広く使用されている2つのRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回る結果が得られた。
私たちのコードはhttps://github.com/SSSpc333/TENetで公開されます。
関連論文リスト
- RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker [4.235252053339947]
本稿では,新しいRGB-Sonar(RGB-S)トラッキングタスクを提案する。
RGBとソナーモダリティの相互作用により、水中の標的の効率的な追跡を実現する方法について検討する。
論文 参考訳（メタデータ） (2024-06-11T12:01:11Z) - Long-term Frame-Event Visual Tracking: Benchmark Dataset and Baseline [37.06330707742272]
まず, FELTと呼ばれる, 長期的かつ大規模な単一オブジェクト追跡データセットを提案する。
742の動画と1,594,474のRGBフレームとイベントストリームペアが含まれており、これまでで最大のフレームイベント追跡データセットになっている。
本稿では,RGBとイベントデータの両方を融合させるために,現代的なホップフィールド層をマルチヘッド自己アテンションブロックに導入することで,統一バックボーンとして新しい連想メモリトランスフォーマーネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-09T08:49:50Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - RGB-T Tracking Based on Mixed Attention [5.151994214135177]
RGB-Tトラッキングには、可視光と熱の両モードの画像の使用が含まれる。
本稿では,モーダルの相補的な融合を実現するための混合注意機構に基づくRGB-Tトラッカーを提案する。
論文 参考訳（メタデータ） (2023-04-09T15:59:41Z) - Revisiting Color-Event based Tracking: A Unified Network, Dataset, and
Metric [53.88188265943762]
上記の機能を同時に実現したCEUTrack(Color-Event Unified Tracking)のためのシングルステージバックボーンネットワークを提案する。
提案するCEUTrackはシンプルで,効率的で,75FPS以上を達成し,新たなSOTA性能を実現している。
論文 参考訳（メタデータ） (2022-11-20T16:01:31Z) - Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。
既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。
DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文 参考訳（メタデータ） (2022-11-06T07:59:07Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-06-07T08:35:41Z) - Multi-domain Collaborative Feature Representation for Robust Visual
Object Tracking [32.760681454334765]
本稿では,フレームドメインとイベントドメインの相補的特徴を効果的に表現し,活用することに焦点を当てる。
2つのドメインの特徴を学習するために、スパイキングニューラルネットワークに基づくイベントのためのユニークなエクストラクタ(UEE)を利用する。
標準RGBベンチマークと実イベント追跡データセットの実験は、提案手法の有効性を実証している。
論文 参考訳（メタデータ） (2021-08-10T09:01:42Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳（メタデータ） (2021-07-22T03:10:51Z) - Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2020-07-04T08:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。