論文の概要: AnyTrack: Unifying Visual Object Tracking with Any Modalities

• arxiv url: http://arxiv.org/abs/2608.06773v1
• Date: Fri, 07 Aug 2026 03:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.342969
• Title: AnyTrack: Unifying Visual Object Tracking with Any Modalities
• Title（参考訳）: AnyTrack: あらゆるモダリティでビジュアルオブジェクト追跡を統合する
• Abstract要約: 我々は任意のモダリティを持つオブジェクト追跡のためのAnyTrackという統合フレームワークを提案する。 Modality-Aware Interaction Module (MIM) は、様々なモジュール間の動的相互作用を容易にする。 コンテキスト理解モジュール(CUM)は、視覚的位置と対象位置の空間的対応を確立する。
• 参考スコア（独自算出の注目度）: 71.788116599779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual object tracking aims to continuously locate specific targets within sequential frames, evolving from single-modal methods to multi-modal ones. However, existing multi-modal trackers are typically designed for fixed modality combinations, requiring separate models for different inputs. This leads to a poor adaptability to missing or imperfect modalities, and limited generalization. To address these issues, we propose a novel unified framework called AnyTrack for object tracking with any modalities. Specifically, we design a Modality-aware Interaction Module (MIM) to facilitate dynamic interaction across diverse modalities. This module bridges modality discrepancies and aggregates temporal cues to maintain spatio-temporal consistency during cross-modal interaction. Furthermore, we introduce a Context Understanding Module (CUM) to establish spatial correspondence between visual features and target locations via global-local prompts. This module employs target-aware context modeling to enhance foreground-background discrimination for precise localization. Finally, to support the training and evaluation under diverse modalities, we extend existing multi-modal object tracking benchmarks by incorporating grayscale images, language descriptions, and audio clips. Extensive experiments with both complete and missing modality settings demonstrate that our AnyTrack achieves state-of-the-art performance, validating its effectiveness and flexibility. The source code is available at https://github.com/IdolLab/AnyTrack.
• Abstract（参考訳）: Visual Object Trackingは、シーケンシャルフレーム内で特定のターゲットを継続的に見つけ、シングルモーダルメソッドからマルチモーダルメソッドへと進化させることを目的としている。 しかし、既存のマルチモーダルトラッカーは、通常固定されたモダリティの組み合わせのために設計されており、異なる入力に対して別々のモデルを必要とする。 これにより、欠落や不完全なモダリティへの適応性が低下し、一般化が制限される。 これらの問題に対処するため、任意のモダリティを持つオブジェクト追跡のためのAnyTrackと呼ばれる新しい統合フレームワークを提案する。 具体的には,モジュール間の動的相互作用を容易にするためのMIM(Modality-Aware Interaction Module)を設計する。 このモジュールはモダリティの相違をブリッジし、時間的手がかりを集約し、モーダル間相互作用の時空間的一貫性を維持する。 さらに,視覚的特徴と対象位置の空間的対応をグローバルなプロンプトを介して確立するためのコンテキスト理解モジュール(CUM)を導入する。 このモジュールは、ターゲット・アウェア・コンテキスト・モデリングを用いて、正確なローカライゼーションのための前景・背景識別を強化する。 最後に、多様なモダリティの下でのトレーニングと評価を支援するため、グレースケール画像、言語記述、音声クリップを組み込むことで、既存のマルチモーダルオブジェクト追跡ベンチマークを拡張した。 完全なモダリティ設定と欠落したモダリティ設定による大規模な実験は、AnyTrackが最先端のパフォーマンスを達成し、その有効性と柔軟性を検証していることを示している。 ソースコードはhttps://github.com/IdolLab/AnyTrack.comで入手できる。

関連論文リスト

• Unified Multimodal Visual Tracking with Dual Mixture-of-Experts [48.73939694967044]
  OneV2は、あらゆるモダリティのエンドツーエンドトレーニングを可能にする統合マルチモーダルトラッキングフレームワークである。 OneV2は5つのRGB+Xトラッキングタスクと12のベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-05T13:05:50Z)
• CAMELTrack: Context-Aware Multi-cue ExpLoitation for Online Multi-Object Tracking [68.24998698508344]
  CAMELはコンテキスト対応型マルチキューExpLoitationのための新しいアソシエイトモジュールである。 エンド・ツー・エンドの検知・バイ・トラック方式とは異なり,本手法は軽量かつ高速にトレーニングが可能であり,外部のオフ・ザ・シェルフモデルを活用することができる。 提案するオンライントラッキングパイプラインであるCAMELTrackは,複数のトラッキングベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-02T13:26:23Z)
• Adaptive Perception for Unified Visual Multi-modal Object Tracking [35.80808788962743]
  APTrackは、マルチモーダル適応認識のために設計された新しい統合トラッカーである。 従来の方法とは異なり、APTrackは等価なモデリング戦略を通じて統一された表現を模索している。 我々のトラッカーは適応的なモーダリティ相互作用モジュールを統合し、モーダリティ間の相互作用を効率的にブリッジする。
  論文  参考訳（メタデータ） (2025-02-10T15:50:26Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Exploiting Multimodal Spatial-temporal Patterns for Video Object Tracking [53.33637391723555]
  本研究では,STTrack というマルチモーダル空間時間追跡手法を提案する。 従来のパラダイムとは対照的に,マルチモーダル時間情報を含むトークン列を連続的に生成する時間状態生成器(TSG)を導入している。 これらの時間情報トークンは、次の時刻におけるターゲットの局所化を誘導し、ビデオフレーム間の長距離コンテキスト関係を確立し、ターゲットの時間軌道を捕捉するために使用される。
  論文  参考訳（メタデータ） (2024-12-20T09:10:17Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking [20.66906781151]
  マルチオブジェクトトラッキングでは、トラッカーはそのメモリ内にシーンの各オブジェクトの外観と動き情報を保持する。 多くのアプローチは、それぞれのターゲットを分離してモデル化し、シーン内のすべてのターゲットを使用してメモリを共同で更新する能力がない。 オンライン上でハードトラッキングのエピソードを生成するマルチトラックプーリングに適応したトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-01-28T18:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。