論文の概要: End-to-End Self-Supervised RGB-T Tracking without Modality Misleading

• arxiv url: http://arxiv.org/abs/2609.37162v1
• Date: Tue, 29 Sep 2026 09:52:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.401178
• Title: End-to-End Self-Supervised RGB-T Tracking without Modality Misleading
• Title（参考訳）: モードミススリーディングを伴わないエンド・ツー・エンドセルフスーパービジョンRGB-Tトラッキング
• Abstract要約: ESMTrackは完全なエンドツーエンドのRGB-Tトラッキングフレームワークである。 2つの相補的な目的を通じて、差別的かつ時間的に一貫した表現を学ぶ。 ESMTrackは、競合する最先端性能、強力なクロスデータセットの一般化、リアルタイム推論速度を実現する。
• 参考スコア（独自算出の注目度）: 33.44401143505222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-T object tracking leverages the complementary characteristics of visible and thermal infrared modalities to improve robustness under adverse conditions. Existing supervised methods typically rely on costly modality-aligned bounding box annotations, while most self-supervised approaches follow a two-stage pseudo-labeling paradigm, making tracker training sensitive to pseudo-label quality and preventing joint end-to-end optimization. In this paper, we propose ESMTrack, a fully end-to-end self-supervised RGB-T tracking framework without offline pseudo-label generation or dense frame-level bounding box annotations. Given only the standard initial-frame annotation used in visual tracking, ESMTrack learns discriminative and temporally consistent representations through two complementary objectives: a grounding triplet loss on annotated initial frames and a cross-frame temporal triplet loss on unlabeled search frames, with reliable samples selected by forward-backward consistency. To address modality dominance bias, ESMTrack employs a three-branch architecture consisting of a fusion branch and two unimodal branches for RGB and thermal inputs. We quantify modality contributions using the Average Peak-to-Correlation Energy by measuring response discrepancies between the fusion and unimodal branches. The resulting reliability estimates guide a training-time modality decoupling mechanism that suppresses dominant-modality shortcuts and adaptively weights cross-modal contrastive learning for task-level alignment. Extensive experiments on five RGB-T tracking benchmarks show that ESMTrack achieves competitive state-of-the-art performance, strong cross-dataset generalization, and real-time inference speed. The source code is available at https://github.com/LiShenglana/ESMTrack.
• Abstract（参考訳）: RGB-Tオブジェクトトラッキングは、可視・熱赤外モードの相補特性を利用して、悪条件下でのロバスト性を改善する。 既存の教師付き手法は、コストのかかるモダリティ整合性のあるバウンディングボックスアノテーションに頼っているのに対し、ほとんどのセルフ教師付きアプローチは、2段階の擬似ラベルのパラダイムに従っており、トラッカーのトレーニングを擬似ラベルの品質に敏感にし、共同のエンドツーエンドの最適化を妨げている。 本稿では,完全エンドツーエンドのRGB-TトラッキングフレームワークであるESMTrackを提案する。 ビジュアルトラッキングで使用される標準的な初期フレームアノテーションのみを前提として、ESMTrackは2つの相補的な目的により識別的および時間的に整合性のある表現を学習する。 モダリティ支配バイアスに対処するため、ESMTrackは融合枝とRGBと熱入力のための2つの単調分岐からなる3分岐アーキテクチャを採用している。 我々は, 平均ピーク・ツー・コレクレーションエネルギーを用いて, 融合と単潮枝の応答差を測定することで, モダリティの寄与を定量化する。 得られた信頼性推定は、支配的モダリティのショートカットを抑え、タスクレベルのアライメントのためのクロスモーダルコントラスト学習を適応的に重み付けする訓練時モダリティデカップリング機構を導く。 5つのRGB-T追跡ベンチマークにおいて、ESMTrackは競合する最先端性能、強力なクロスデータセットの一般化、リアルタイム推論速度を実現している。 ソースコードはhttps://github.com/LiShenglana/ESMTrack.comで入手できる。

関連論文リスト

• COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
  C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。 TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
  論文  参考訳（メタデータ） (2026-03-25T07:20:27Z)
• CADTrack: Learning Contextual Aggregation with Deformable Alignment for Robust RGBT Tracking [68.71826342377004]
  RGB-Thermal (RGBT) トラッキングは、堅牢な全天候物体追跡のために可視および熱赤外モードを活用することを目的としている。 既存のRGBTトラッカーはモダリティの相違を解決するのに苦労している。 RGBT追跡のためのCADTrackと呼ばれる,変形可能なアライメントによるコンテキストアグリゲーション(Contextual Aggregation)を提案する。
  論文  参考訳（メタデータ） (2025-11-22T08:10:02Z)
• SwiTrack: Tri-State Switch for Cross-Modal Object Tracking [74.15663758681849]
  クロスモーダルオブジェクトトラッキング(CMOT)は、ビデオストリームが異なるモード間で切り替える間、ターゲットの一貫性を維持する新しいタスクである。 SwiTrackは3つの特別なストリームを配置することでCMOTを再定義する新しいステートスイッチングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-20T10:52:54Z)
• Divide-and-Conquer: Confluent Triple-Flow Network for RGB-T Salient Object Detection [70.84835546732738]
  RGB-Thermal Salient Object Detectionは、目視と熱赤外画像のペア内の目立つ物体をピンポイントすることを目的としている。 従来のエンコーダ・デコーダアーキテクチャは、欠陥モードから生じるノイズに対する頑健さを十分に考慮していなかったかもしれない。 本稿では,Divide-and-Conquer戦略を用いた,堅牢なConfluent Triple-Flow NetworkであるConTriNetを提案する。
  論文  参考訳（メタデータ） (2024-12-02T14:44:39Z)
• RGB-T Tracking Based on Mixed Attention [5.151994214135177]
  RGB-Tトラッキングには、可視光と熱の両モードの画像の使用が含まれる。 本稿では,モーダルの相補的な融合を実現するための混合注意機構に基づくRGB-Tトラッカーを提案する。
  論文  参考訳（メタデータ） (2023-04-09T15:59:41Z)
• 3DMODT: Attention-Guided Affinities for Joint Detection & Tracking in 3D Point Clouds [95.54285993019843]
  本稿では,3次元点雲における複数物体の同時検出と追跡手法を提案する。 本モデルでは,複数のフレームを用いた時間情報を利用してオブジェクトを検出し,一つのネットワーク上で追跡する。
  論文  参考訳（メタデータ） (2022-11-01T20:59:38Z)
• Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking [85.333260415532]
  我々はRGBと熱(T)の両モードの融合重量マップを推定する新しい後期融合法を開発した。 外観キューが信頼できない場合には、動作キューを考慮に入れ、トラッカーを堅牢にする。 最近の3つのRGB-T追跡データセットの多くの結果から、提案したトラッカーは他の最先端のアルゴリズムよりも大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2020-07-04T08:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。