論文の概要: Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
- arxiv url: http://arxiv.org/abs/2007.02041v1
- Date: Sat, 4 Jul 2020 08:11:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 13:39:08.762928
- Title: Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
- Title（参考訳）: ロバストなrgb-tトラッキングのための運動と外観の同時モデリング
- Authors: Pengyu Zhang and Jie Zhao and Dong Wang and Huchuan Lu and Xiaoyun
Yang
- Abstract要約: 我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
- 参考スコア（独自算出の注目度）: 85.333260415532
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this study, we propose a novel RGB-T tracking framework by jointly
modeling both appearance and motion cues. First, to obtain a robust appearance
model, we develop a novel late fusion method to infer the fusion weight maps of
both RGB and thermal (T) modalities. The fusion weights are determined by using
offline-trained global and local multimodal fusion networks, and then adopted
to linearly combine the response maps of RGB and T modalities. Second, when the
appearance cue is unreliable, we comprehensively take motion cues, i.e., target
and camera motions, into account to make the tracker robust. We further propose
a tracker switcher to switch the appearance and motion trackers flexibly.
Numerous results on three recent RGB-T tracking datasets show that the proposed
tracker performs significantly better than other state-of-the-art algorithms.
- Abstract（参考訳）: 本研究では,外見と動きの両方を共同でモデル化した新しいRGB-Tトラッキングフレームワークを提案する。
まず、ロバストな外観モデルを得るために、RGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
融合重みは、オフラインで訓練されたグローバルとローカルのマルチモーダルの融合ネットワークを用いて決定され、RGBとTの応答マップを線形に組み合わせる。
第2に、外観のキューが信頼できない場合、モーションキュー、すなわちターゲットとカメラの動きを総合的に考慮し、トラッカーを堅牢にする。
さらに,外見や動きを柔軟に切り替えるトラッカー切換器を提案する。
最近の3つのrgb-t追跡データセットの多くの結果から、提案されたトラッカーは、他の最先端アルゴリズムよりもかなり優れた性能を示している。
関連論文リスト
- TENet: Targetness Entanglement Incorporating with Multi-Scale Pooling and Mutually-Guided Fusion for RGB-E Object Tracking [30.89375068036783]
既存のアプローチでは、従来の外観モデルを用いて、RGB-E追跡のためのイベント特徴抽出を行う。
本稿では,イベントデータ固有の特徴を認識可能な高品質な特徴表現を実現するために,イベントバックボーン(Pooler)を提案する。
提案手法は,2つの広く使用されているRGB-E追跡データセットにおいて,最先端トラッカーを著しく上回っている。
論文 参考訳（メタデータ） (2024-05-08T12:19:08Z) - Middle Fusion and Multi-Stage, Multi-Form Prompts for Robust RGB-T Tracking [1.8843687952462744]
M3PTは、ミドルフュージョンとマルチモーダル、マルチステージの視覚的プロンプトを活用する新しいRGB-Tプロンプトトラッキング手法である。
メタフレームワークに基づいて、複数のフレキシブルなプロンプト戦略を用いて、事前訓練されたモデルを適用し、ユニモーダルパターンの包括的探索を行う。
論文 参考訳（メタデータ） (2024-03-27T02:06:25Z) - SDSTrack: Self-Distillation Symmetric Adapter Learning for Multi-Modal Visual Object Tracking [19.50096632818305]
VOT(Multimodal Visual Object Tracking)は、その堅牢性により、最近大きな注目を集めている。
近年の研究では、事前訓練されたRGBベースのトラッカーをマルチモーダルデータに転送するために、プロンプトチューニングを利用している。
我々はSDSTrackと呼ばれる新しい対称マルチモーダルトラッキングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-24T04:15:50Z) - Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。
我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。
本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文 参考訳（メタデータ） (2023-12-17T05:27:31Z) - RGB-T Tracking Based on Mixed Attention [5.151994214135177]
RGB-Tトラッキングには、可視光と熱の両モードの画像の使用が含まれる。
本稿では,モーダルの相補的な融合を実現するための混合注意機構に基づくRGB-Tトラッカーを提案する。
論文 参考訳（メタデータ） (2023-04-09T15:59:41Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - Learning Dual-Fused Modality-Aware Representations for RGBD Tracking [67.14537242378988]
従来のRGBオブジェクトトラッキングと比較して、奥行きモードの追加は、ターゲットとバックグラウンドの干渉を効果的に解決することができる。
既存のRGBDトラッカーでは2つのモードを別々に使用しており、特に有用な共有情報は無視されている。
DMTracker(Dual-fused Modality-aware Tracker)を提案する。DMTrackerは,RGBDのロバストな追跡のために,対象対象物の情報的および識別的表現を学習することを目的としている。
論文 参考訳（メタデータ） (2022-11-06T07:59:07Z) - Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。
本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。
さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
論文 参考訳（メタデータ） (2022-04-08T15:22:33Z) - Temporal Aggregation for Adaptive RGBT Tracking [14.00078027541162]
本稿では,頑健な外見モデル学習を考慮したRGBTトラッカーを提案する。
空間情報のみを含むオブジェクト追跡タスクを実装している既存のRGBTトラッカーとは異なり、この手法では時間情報も考慮されている。
論文 参考訳（メタデータ） (2022-01-22T02:31:56Z) - MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking [72.65494220685525]
可視データと熱データ間のメッセージ通信を促進するために,新しい動的モダリティ対応フィルタ生成モジュール(MFGNet)を提案する。
我々は、2つの独立ネットワークを持つ動的モダリティ対応フィルタを生成し、その可視フィルタとサーマルフィルタをそれぞれ、対応する入力特徴写像上で動的畳み込み演算を行う。
重閉塞,高速移動,外見による問題に対処するため,新たな方向認識型目標誘導型アテンション機構を活用することで,共同で局所的・グローバル検索を行うことを提案する。
論文 参考訳（メタデータ） (2021-07-22T03:10:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。