論文の概要: Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Method
- arxiv url: http://arxiv.org/abs/2405.00168v1
- Date: Tue, 30 Apr 2024 19:37:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-02 17:16:17.700040
- Title: Revisiting RGBT Tracking Benchmarks from the Perspective of Modality Validity: A New Benchmark, Problem, and Method
- Title（参考訳）: モダリティの妥当性の観点からのRGBT追跡ベンチマークの再検討:新しいベンチマーク,問題,方法
- Authors: Zhangyong Tang, Tianyang Xu, Zhenhua Feng, Xuefeng Zhu, He Wang, Pengcheng Shao, Chunyang Cheng, Xiao-Jun Wu, Muhammad Awais, Sara Atito, Josef Kittler,
- Abstract要約: MV-RGBT という新しいベンチマークを MMW のシナリオに特化して提案する。
ベースライン融合戦略として,MoETrackと呼ばれる専門家の混在に基づく新たな手法を提案する。
MoETrackはMV-RGBTだけでなく、RGBT234、LasHeR、VTUAV(VTUAV-ST)の短期分割といった標準ベンチマークでも、新しい最先端の結果を達成する。
- 参考スコア（独自算出の注目度）: 38.66469946362502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: RGBT tracking draws increasing attention due to its robustness in multi-modality warranting (MMW) scenarios, such as nighttime and bad weather, where relying on a single sensing modality fails to ensure stable tracking results. However, the existing benchmarks predominantly consist of videos collected in common scenarios where both RGB and thermal infrared (TIR) information are of sufficient quality. This makes the data unrepresentative of severe imaging conditions, leading to tracking failures in MMW scenarios. To bridge this gap, we present a new benchmark, MV-RGBT, captured specifically in MMW scenarios. In contrast with the existing datasets, MV-RGBT comprises more object categories and scenes, providing a diverse and challenging benchmark. Furthermore, for severe imaging conditions of MMW scenarios, a new problem is posed, namely \textit{when to fuse}, to stimulate the development of fusion strategies for such data. We propose a new method based on a mixture of experts, namely MoETrack, as a baseline fusion strategy. In MoETrack, each expert generates independent tracking results along with the corresponding confidence score, which is used to control the fusion process. Extensive experimental results demonstrate the significant potential of MV-RGBT in advancing RGBT tracking and elicit the conclusion that fusion is not always beneficial, especially in MMW scenarios. Significantly, the proposed MoETrack method achieves new state-of-the-art results not only on MV-RGBT, but also on standard benchmarks, such as RGBT234, LasHeR, and the short-term split of VTUAV (VTUAV-ST). More information of MV-RGBT and the source code of MoETrack will be released at https://github.com/Zhangyong-Tang/MoETrack.
- Abstract（参考訳）: RGBT追跡は、夜間や悪天候のようなマルチモーダル保証(MMW)シナリオの堅牢性によって注目される。
しかし、既存のベンチマークは主にRGBと熱赤外(TIR)の両方が十分な品質である一般的なシナリオで収集されたビデオで構成されている。
これにより、データは厳しい撮像条件を表現できず、MMWシナリオにおける障害の追跡につながる。
このギャップを埋めるために、MMWシナリオに特化されたMV-RGBTという新しいベンチマークを提示する。
既存のデータセットとは対照的に、MV-RGBTはより多くのオブジェクトカテゴリとシーンで構成されており、多様で挑戦的なベンチマークを提供する。
さらに、MMWシナリオの厳しい撮像条件においては、これらのデータに対する融合戦略の開発を促進するために、新しい問題、すなわち「textit{when to fuse}」が提示される。
ベースライン融合戦略として,MoETrackと呼ばれる専門家の混在に基づく新たな手法を提案する。
MoETrackでは、各専門家は、融合プロセスを制御するために使用される、対応する信頼スコアとともに、独立したトラッキング結果を生成する。
MV-RGBTがRGBT追跡を前進させる可能性を示し,特にMMWシナリオにおいて核融合は必ずしも有用ではないという結論を導いた。
提案したMoETrack法は,MV-RGBTだけでなく,RGBT234,LasHeR,VTUAV(VTUAV-ST)の短期分割といった標準ベンチマークにも適用可能である。
MV-RGBTの詳細とMoETrackのソースコードはhttps://github.com/Zhangyong-Tang/MoETrackで公開される。
関連論文リスト
- MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。
具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。
実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2024-08-15T02:29:00Z) - Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks [21.139161163767884]
モーダル情報は、熱センサーの自己校正やデータ伝送誤差などの要因によって見逃される可能性がある。
本稿では、コンテンツ保存プロンプトをよく訓練された追跡モデルに統合する、新しい非可逆的プロンプト学習手法を提案する。
提案手法は,最先端手法と比較して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-12-25T11:39:00Z) - RGB-T Tracking Based on Mixed Attention [5.151994214135177]
RGB-Tトラッキングには、可視光と熱の両モードの画像の使用が含まれる。
本稿では,モーダルの相補的な融合を実現するための混合注意機構に基づくRGB-Tトラッカーを提案する。
論文 参考訳（メタデータ） (2023-04-09T15:59:41Z) - Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。
本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。
さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
論文 参考訳（メタデータ） (2022-04-08T15:22:33Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Temporal Aggregation for Adaptive RGBT Tracking [14.00078027541162]
本稿では,頑健な外見モデル学習を考慮したRGBTトラッカーを提案する。
空間情報のみを含むオブジェクト追跡タスクを実装している既存のRGBTトラッカーとは異なり、この手法では時間情報も考慮されている。
論文 参考訳（メタデータ） (2022-01-22T02:31:56Z) - A Closer Look at Temporal Sentence Grounding in Videos: Datasets and
Metrics [70.45937234489044]
2つの広く使用されているTSGVデータセット(Charades-STAとActivityNet Captions)を再編成し、トレーニング分割と異なるものにします。
基本的なIoUスコアを校正するために、新しい評価基準「dR@$n$,IoU@$m$」を導入する。
すべての結果は、再編成されたデータセットと新しいメトリクスがTSGVの進捗をよりよく監視できることを示している。
論文 参考訳（メタデータ） (2021-01-22T09:59:30Z) - Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。
外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。
最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2020-07-04T08:11:33Z) - M$^5$L: Multi-Modal Multi-Margin Metric Learning for RGBT Tracking [44.296318907168]
RGBT追跡の過程で混乱するサンプルを分類することは難しい問題である。
RGBT追跡のためのM$5$Lという新しいマルチモーダルマルチマージンメトリックラーニングフレームワークを提案する。
我々のフレームワークは、追跡性能を向上し、最先端のRGBTトラッカーよりも優れています。
論文 参考訳（メタデータ） (2020-03-17T11:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。