論文の概要: RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2603.03617v1
• Date: Wed, 04 Mar 2026 01:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.139553
• Title: RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation
• Title（参考訳）: RAGTrack: Retrieval-Augmented Generationによる言語対応RGBTトラッキング
• Authors: Hao Li, Yuhao Wang, Wenning Hao, Pingping Zhang, Dong Wang, Huchuan Lu,
• Abstract要約: RGB-Thermal(RGBT)トラッキングは、多様な環境条件をまたいだ堅牢なオブジェクトローカライゼーションを実現することを目的としている。 既存のRGBTトラッカーは、ターゲットモデリングのための初期フレームの視覚情報のみに依存している。 堅牢なRGBTトラッキングのための新しい検索拡張フレームワークであるRAGTrackを提案する。
• 参考スコア（独自算出の注目度）: 71.2136732268131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-Thermal (RGBT) tracking aims to achieve robust object localization across diverse environmental conditions by fusing visible and thermal infrared modalities. However, existing RGBT trackers rely solely on initial-frame visual information for target modeling, failing to adapt to appearance variations due to the absence of language guidance. Furthermore, current methods suffer from redundant search regions and heterogeneous modality gaps, causing background distraction. To address these issues, we first introduce textual descriptions into RGBT tracking benchmarks. This is accomplished through a pipeline that leverages Multi-modal Large Language Models (MLLMs) to automatically produce texual annotations. Afterwards, we propose RAGTrack, a novel Retrieval-Augmented Generation framework for robust RGBT tracking. To this end, we introduce a Multi-modal Transformer Encoder (MTE) for unified visual-language modeling. Then, we design an Adaptive Token Fusion (ATF) to select target-relevant tokens and perform channel exchanges based on cross-modal correlations, mitigating search redundancies and modality gaps. Finally, we propose a Context-aware Reasoning Module (CRM) to maintain a dynamic knowledge base and employ a Retrieval-Augmented Generation (RAG) to enable temporal linguistic reasoning for robust target modeling. Extensive experiments on four RGBT benchmarks demonstrate that our framework achieves state-of-the-art performance across various challenging scenarios. The source code is available https://github.com/IdolLab/RAGTrack.
• Abstract（参考訳）: RGB-Thermal(RGBT)追跡は、可視光と熱赤外モードを融合させることにより、多様な環境条件をまたいだ堅牢な物体の局所化を実現することを目的としている。 しかし、既存のRGBTトラッカーはターゲットモデリングに初期フレームの視覚情報のみに依存しており、言語指導がないため外観の変化に適応できなかった。 さらに、現在の手法は冗長な探索領域と不均一なモダリティギャップに悩まされ、背景の混乱を引き起こしている。 これらの問題に対処するために、まずテキスト記述をRGBT追跡ベンチマークに導入する。 これは、MLLM(Multi-modal Large Language Models)を活用して、自動的にテクスチャアノテーションを生成するパイプラインを通じて実現される。 その後、ロバストなRGBTトラッキングのための新しいRetrieval-Augmented GenerationフレームワークであるRAGTrackを提案する。 そこで我々は,MTE(Multi-modal Transformer Encoder)を導入した。 そこで,適応トークン融合 (ATF) を設計し, 相互相関に基づくチャネル交換を行い, 探索冗長性とモダリティギャップを緩和する。 最後に,動的知識ベースを維持するためのCRM(Context-aware Reasoning Module)を提案する。 4つのRGBTベンチマークの大規模な実験は、我々のフレームワークが様々な挑戦的なシナリオで最先端のパフォーマンスを達成することを実証している。 ソースコードはhttps://github.com/IdolLab/RAGTrack.comで入手できる。

関連論文リスト

• GRASP: Guided Region-Aware Sparse Prompting for Adapting MLLMs to Remote Sensing [50.961694646995376]
  GRASP(Guid Region-Aware Sparse Prompting)と呼ばれるパラメータ効率細調整(PEFT)戦略を提案する。 GRASPは、凍結した視覚的トークングリッドから抽出された空間ブロックに関連する空間的構造化されたソフトプロンプトを導入する。 複数のRSVQAベンチマークの実験では、GRASPは既存の微調整やプロンプトベースの手法と比較して競争性能が向上している。
  論文  参考訳（メタデータ） (2026-01-23T10:12:59Z)
• CADTrack: Learning Contextual Aggregation with Deformable Alignment for Robust RGBT Tracking [68.71826342377004]
  RGB-Thermal (RGBT) トラッキングは、堅牢な全天候物体追跡のために可視および熱赤外モードを活用することを目的としている。 既存のRGBTトラッカーはモダリティの相違を解決するのに苦労している。 RGBT追跡のためのCADTrackと呼ばれる,変形可能なアライメントによるコンテキストアグリゲーション(Contextual Aggregation)を提案する。
  論文  参考訳（メタデータ） (2025-11-22T08:10:02Z)
• CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning [93.05917922306196]
  Composed Image Retrieval (CIR) は、参照画像と修正テキストから対象画像を見つけることを目的としている。 CIR-CoTは、明示的なChain-of-Thought (CoT)推論を統合するために設計された最初のエンドツーエンド検索指向MLLMである。
  論文  参考訳（メタデータ） (2025-10-09T09:41:45Z)
• MGCR-Net:Multimodal Graph-Conditioned Vision-Language Reconstruction Network for Remote Sensing Change Detection [55.702662643521265]
  マルチモーダルデータのセマンティックインタラクション機能を検討するために,マルチモーダルグラフ条件付き視覚言語再構成ネットワーク(MGCR-Net)を提案する。 4つの公開データセットによる実験結果から,MGCRは主流CD法に比べて優れた性能を示した。
  論文  参考訳（メタデータ） (2025-08-03T02:50:08Z)
• MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs [6.165053219836395]
  本稿では,シーングラフを通して視覚コンテンツを洗練し,マルチモーダルな知識グラフを構築するMMGraphRAGを提案する。 スペクトルクラスタリングを用いてクロスモーダルなエンティティリンクを実現し、推論経路に沿ってコンテキストを取得して生成プロセスを導く。 実験結果から,MMGraphRAGはDocBenchとMMLongBenchのデータセット上で最先端の性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-07-28T13:16:23Z)
• Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation [50.433911327489554]
  リモートセンシング画像セグメンテーション(RRSIS)の目標は、参照式によって識別された対象オブジェクトの画素レベルマスクを生成することである。 上記の課題に対処するため、クロスモーダル双方向相互作用モデル(CroBIM)と呼ばれる新しいRRSISフレームワークが提案されている。 RRSISの研究をさらに推し進めるために、52,472個の画像言語ラベル三重項からなる新しい大規模ベンチマークデータセットRISBenchを構築した。
  論文  参考訳（メタデータ） (2024-10-11T08:28:04Z)
• Modality-missing RGBT Tracking: Invertible Prompt Learning and High-quality Benchmarks [21.139161163767884]
  モーダル情報は、熱センサーの自己校正やデータ伝送誤差などの要因によって見逃される可能性がある。 本稿では、コンテンツ保存プロンプトをよく訓練された追跡モデルに統合する、新しい非可逆的プロンプト学習手法を提案する。 提案手法は,最先端手法と比較して,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-12-25T11:39:00Z)
• Temporal Aggregation for Adaptive RGBT Tracking [14.00078027541162]
  本稿では,頑健な外見モデル学習を考慮したRGBTトラッカーを提案する。 空間情報のみを含むオブジェクト追跡タスクを実装している既存のRGBTトラッカーとは異なり、この手法では時間情報も考慮されている。
  論文  参考訳（メタデータ） (2022-01-22T02:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。