論文の概要: A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles
- arxiv url: http://arxiv.org/abs/2511.18344v1
- Date: Sun, 23 Nov 2025 08:42:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.78949
- Title: A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles
- Title(参考訳): 無人航空機追跡のための3モードデータセットとベースラインシステム
- Authors: Tianyang Xu, Jinjie Gu, Xuefeng Zhu, XiaoJun Wu, Josef Kittler,
- Abstract要約: MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。
データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。
データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
- 参考スコア(独自算出の注目度): 74.8162337823142
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the proliferation of low altitude unmanned aerial vehicles (UAVs), visual multi-object tracking is becoming a critical security technology, demanding significant robustness even in complex environmental conditions. However, tracking UAVs using a single visual modality often fails in challenging scenarios, such as low illumination, cluttered backgrounds, and rapid motion. Although multi-modal multi-object UAV tracking is more resilient, the development of effective solutions has been hindered by the absence of dedicated public datasets. To bridge this gap, we release MM-UAV, the first large-scale benchmark for Multi-Modal UAV Tracking, integrating three key sensing modalities, e.g. RGB, infrared (IR), and event signals. The dataset spans over 30 challenging scenarios, with 1,321 synchronised multi-modal sequences, and more than 2.8 million annotated frames. Accompanying the dataset, we provide a novel multi-modal multi-UAV tracking framework, designed specifically for UAV tracking applications and serving as a baseline for future research. Our framework incorporates two key technical innovations, e.g. an offset-guided adaptive alignment module to resolve spatio mismatches across sensors, and an adaptive dynamic fusion module to balance complementary information conveyed by different modalities. Furthermore, to overcome the limitations of conventional appearance modelling in multi-object tracking, we introduce an event-enhanced association mechanism that leverages motion cues from the event modality for more reliable identity maintenance. Comprehensive experiments demonstrate that the proposed framework consistently outperforms state-of-the-art methods. To foster further research in multi-modal UAV tracking, both the dataset and source code will be made publicly available at https://xuefeng-zhu5.github.io/MM-UAV/.
- Abstract(参考訳): 低高度無人航空機(UAV)の普及に伴い、視覚多目的追跡は重要なセキュリティ技術となり、複雑な環境条件下でもかなりの堅牢性を必要としている。
しかし、単一の視覚的モダリティを用いたUAVの追跡は、低い照明、散らかった背景、急激な動きといった困難なシナリオでしばしば失敗する。
マルチモーダルなマルチオブジェクトUAVトラッキングはより弾力性があるが、効率的なソリューションの開発は、専用のパブリックデータセットがないために妨げられている。
このギャップを埋めるために、MM-UAVはマルチモードUAV追跡のための最初の大規模ベンチマークであり、RGB、赤外線(IR)、イベント信号の3つの重要なセンシングモードを統合している。
データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。
データセットを伴って,UAVトラッキング専用に設計された新しいマルチモーダルマルチUAVトラッキングフレームワークを提供し,今後の研究のベースラインとして機能する。
このフレームワークには,センサ間の不一致を解消するためのオフセット誘導適応アライメントモジュールと,異なるモダリティによって伝達される相補的情報のバランスをとるための適応動的融合モジュールの2つの重要な技術革新が組み込まれている。
さらに,マルチオブジェクト追跡における従来の外観モデリングの限界を克服するために,イベントモダリティからの動作キューを活用したイベント強化型アソシエーション機構を導入し,より信頼性の高いアイデンティティ管理を実現する。
総合的な実験により、提案されたフレームワークは最先端の手法を一貫して上回っていることが示された。
マルチモーダルUAVトラッキングのさらなる研究を促進するため、データセットとソースコードはhttps://xuefeng-zhu5.github.io/MM-UAV/で公開されている。
関連論文リスト
- Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。
既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。
本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
論文 参考訳(メタデータ) (2025-08-03T12:06:47Z) - DINO-CoDT: Multi-class Collaborative Detection and Tracking with Vision Foundation Models [11.34839442803445]
道路利用者を対象とした多クラス協調検出・追跡フレームワークを提案する。
まず,大域的空間注意融合(GSAF)モジュールを用いた検出器を提案する。
次に,視覚基盤モデルを用いた視覚的セマンティクスを活用し,IDSW(ID SWitch)エラーを効果的に低減するトラックレットRe-IDentification(REID)モジュールを提案する。
論文 参考訳(メタデータ) (2025-06-09T02:49:10Z) - CAMELTrack: Context-Aware Multi-cue ExpLoitation for Online Multi-Object Tracking [68.24998698508344]
CAMELはコンテキスト対応型マルチキューExpLoitationのための新しいアソシエイトモジュールである。
エンド・ツー・エンドの検知・バイ・トラック方式とは異なり,本手法は軽量かつ高速にトレーニングが可能であり,外部のオフ・ザ・シェルフモデルを活用することができる。
提案するオンライントラッキングパイプラインであるCAMELTrackは,複数のトラッキングベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-05-02T13:26:23Z) - MUST: The First Dataset and Unified Framework for Multispectral UAV Single Object Tracking [17.96400810834486]
第1回大規模マルチスペクトルUAVシングルオブジェクト追跡データセット(MUST)について紹介する。
MUSTには、様々な環境と課題にまたがる250のビデオシーケンスが含まれている。
また,スペクトルプロンプトからのスペクトル,空間,時間的特徴をエンコードする新しい追跡フレームワークUNTrackを提案する。
論文 参考訳(メタデータ) (2025-03-22T08:47:28Z) - Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。
我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。
本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
論文 参考訳(メタデータ) (2023-12-17T05:27:31Z) - You Only Need Two Detectors to Achieve Multi-Modal 3D Multi-Object Tracking [9.20064374262956]
提案手法は,2次元検出器と3次元検出器のみを用いて,ロバストなトラッキングを実現する。
多くの最先端のTBDベースのマルチモーダルトラッキング手法よりも正確であることが証明されている。
論文 参考訳(メタデータ) (2023-04-18T02:45:18Z) - Prompting for Multi-Modal Tracking [70.0522146292258]
マルチモーダルトラッキングのための新しいマルチモーダルプロンプトトラッカー(ProTrack)を提案する。
ProTrackはプロンプトパラダイムにより、マルチモーダル入力を単一モーダルに変換することができる。
我々のProTrackは、マルチモーダルデータに余分な訓練を加えることなく、入力を変更するだけで高性能なマルチモーダルトラッキングを実現することができる。
論文 参考訳(メタデータ) (2022-07-29T09:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。