論文の概要: Heterogeneous Graph Transformer for Multiple Tiny Object Tracking in RGB-T Videos

• arxiv url: http://arxiv.org/abs/2412.10861v1
• Date: Sat, 14 Dec 2024 15:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:54.284925
• Title: Heterogeneous Graph Transformer for Multiple Tiny Object Tracking in RGB-T Videos
• Title（参考訳）: RGB-Tビデオにおける複数物体追跡のための不均一グラフ変換器
• Authors: Qingyu Xu, Longguang Wang, Weidong Sheng, Yingqian Wang, Chao Xiao, Chao Ma, Wei An,
• Abstract要約: 既存のマルチオブジェクト追跡アルゴリズムは、一般的に単一のモダリティシーンに焦点を当てている。 我々はHGTトラック(異種グラフ変換器に基づくマルチTiny-Object Tracking)と呼ばれる新しいフレームワークを提案する。 本稿では,RGB-Tを融合した複数物体追跡のためのVT-Tiny-MOT (Visible-Thermal Tiny Multi-Object Tracking) の最初のベンチマークを紹介する。
• 参考スコア（独自算出の注目度）: 31.910202172609313
• License:
• Abstract: Tracking multiple tiny objects is highly challenging due to their weak appearance and limited features. Existing multi-object tracking algorithms generally focus on single-modality scenes, and overlook the complementary characteristics of tiny objects captured by multiple remote sensors. To enhance tracking performance by integrating complementary information from multiple sources, we propose a novel framework called {HGT-Track (Heterogeneous Graph Transformer based Multi-Tiny-Object Tracking)}. Specifically, we first employ a Transformer-based encoder to embed images from different modalities. Subsequently, we utilize Heterogeneous Graph Transformer to aggregate spatial and temporal information from multiple modalities to generate detection and tracking features. Additionally, we introduce a target re-detection module (ReDet) to ensure tracklet continuity by maintaining consistency across different modalities. Furthermore, this paper introduces the first benchmark VT-Tiny-MOT (Visible-Thermal Tiny Multi-Object Tracking) for RGB-T fused multiple tiny object tracking. Extensive experiments are conducted on VT-Tiny-MOT, and the results have demonstrated the effectiveness of our method. Compared to other state-of-the-art methods, our method achieves better performance in terms of MOTA (Multiple-Object Tracking Accuracy) and ID-F1 score. The code and dataset will be made available at https://github.com/xuqingyu26/HGTMT.
• Abstract（参考訳）: 複数の小さな物体を追跡できるのは、その外観が弱く、特徴が限られているため非常に難しい。 既存のマルチオブジェクト追跡アルゴリズムは、通常、単一のモダリティシーンに焦点を当て、複数のリモートセンサーによってキャプチャされた小さなオブジェクトの相補的な特性を見落としている。 複数のソースから補完情報を統合することでトラッキング性能を向上させるため,HGT-Track (Heterogeneous Graph Transformer based Multi-Tiny-Object Tracking)} と呼ばれる新しいフレームワークを提案する。 具体的には、まずTransformerベースのエンコーダを使用して、異なるモダリティの画像の埋め込みを行う。 その後、異種グラフ変換器を用いて複数のモーダルからの空間的・時間的情報を集約し、検出・追跡機能を生成する。 さらに,目標再検出モジュール(ReDet)を導入し,異なるモダリティ間の整合性を維持することにより,トラックレットの連続性を確保する。 さらに,RGB-Tを融合した複数物体追跡のためのVT-Tiny-MOT (Visible-Thermal Tiny Multi-Object Tracking) の最初のベンチマークを紹介する。 VT-Tiny-MOTを用いて実験を行い,本手法の有効性を実証した。 他の最先端手法と比較して,本手法はMOTA(Multiple-Object Tracking Accuracy)とID-F1スコアの点で性能が向上する。 コードとデータセットはhttps://github.com/xuqingyu26/HGTMT.comで公開される。

関連論文リスト

• Visible-Thermal Multiple Object Tracking: Large-scale Video Dataset and Progressive Fusion Approach [17.286142856787222]
  VT-MOTと呼ばれる多目的追跡(MOT)のための大規模な可視熱ビデオベンチマークに貢献する。 VT-MOTには、582のビデオシーケンスペア、401kフレームペアの監視、ドローン、ハンドヘルドプラットフォームが含まれている。 VT-MOTの総合的な実験を行い,提案手法の優位性と有効性を示した。
  論文  参考訳（メタデータ） (2024-08-02T01:29:43Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
  任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。 任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。 我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
  論文  参考訳（メタデータ） (2023-11-27T14:17:41Z)
• MotionTrack: End-to-End Transformer-based Multi-Object Tracing with LiDAR-Camera Fusion [13.125168307241765]
  複数のクラスでオブジェクトを追跡するための多モードセンサ入力を用いたエンドツーエンドトランスフォーマーベースMOTアルゴリズム(MotionTrack)を提案する。 MotionTrackとそのバリエーションは、他の古典的なベースラインモデルと比較して、nuScenesデータセット上のより良い結果(AMOTAスコア0.55)を達成する。
  論文  参考訳（メタデータ） (2023-06-29T15:00:12Z)
• SMILEtrack: SiMIlarity LEarning for Occlusion-Aware Multiple Object Tracking [20.286114226299237]
  本稿では,SLM(Siamese Network-based similarity Learning Module)を用いたオブジェクトトラッカーSMILEtrackを紹介する。 SLMは2つのオブジェクト間の外観類似性を計算し、分離検出および埋め込みモデルにおける特徴記述子の制限を克服する。 第2に、連続するビデオフレーム間の堅牢なオブジェクトマッチングのための新しいGATE関数を備えた類似マッチングカスケード(SMC)モジュールを開発する。
  論文  参考訳（メタデータ） (2022-11-16T10:49:48Z)
• Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking [59.79252390626194]
  本稿ではTransSTAMという新しい手法を提案する。Transformerを利用して各オブジェクトの外観特徴とオブジェクト間の空間的時間的関係の両方をモデル化する。 提案手法はMOT16, MOT17, MOT20を含む複数の公開ベンチマークで評価され, IDF1とHOTAの両方で明確な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-05-31T01:19:18Z)
• Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline [80.13652104204691]
  本稿では,可視熱UAV追跡(VTUAV)のための高多様性の大規模ベンチマークを構築する。 本稿では, フレームレベルの属性を, チャレンジ固有のトラッカーの可能性を利用するための粗粒度属性アノテーションを提案する。 さらに,様々なレベルでRGB-Tデータを融合するHMFT(Hierarchical Multi-modal Fusion Tracker)という新しいRGB-Tベースラインを設計する。
  論文  参考訳（メタデータ） (2022-04-08T15:22:33Z)
• Unified Transformer Tracker for Object Tracking [58.65901124158068]
  異なるシナリオにおけるトラッキング問題に1つのパラダイムで対処するために,UTT(Unified Transformer Tracker)を提案する。 SOT(Single Object Tracking)とMOT(Multiple Object Tracking)の両方を対象とするトラックトランスフォーマーを開発した。
  論文  参考訳（メタデータ） (2022-03-29T01:38:49Z)
• TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking [74.82415271960315]
  映像内の物体間の空間的・時間的相互作用を効率的にモデル化するソリューションであるTransMOTを提案する。 TransMOTは従来のTransformerよりも計算効率が高いだけでなく、トラッキング精度も向上している。 提案手法は、MOT15、MOT16、MOT17、MOT20を含む複数のベンチマークデータセット上で評価される。
  論文  参考訳（メタデータ） (2021-04-01T01:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。