論文の概要: YesTrack: Referring Multi-Object Tracking via MLLM-based Yes/No Verification

• arxiv url: http://arxiv.org/abs/2609.02318v1
• Date: Wed, 02 Sep 2026 09:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.209172
• Title: YesTrack: Referring Multi-Object Tracking via MLLM-based Yes/No Verification
• Title（参考訳）: YesTrack:MLLMベースのYes/No Verificationによるマルチオブジェクト追跡の参照
• Abstract要約: マルチオブジェクト追跡(RMOT)の参照は、与えられた言語表現にマッチしたビデオ内のすべてのインスタンスを追跡することを目的としている。 本稿では,差別的タスクとして参照する2段階のRMOT手法であるYesTrackを提案する。 YesTrackは、高い効率を維持しながら、既存の最先端メソッドを大幅に上回る。
• 参考スコア（独自算出の注目度）: 8.314594040375072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring multi-object tracking (RMOT) aims to track every instance in a video that matches a given language expression. Despite the recent integration of multimodal large language models (MLLMs) to enhance generalization, existing methods predominantly relegate them to the role of caption generators, necessitating external modules for final decision-making. This paradigm not only introduces extra latency but also severely underutilizes the inherent vision-language alignment capabilities of MLLMs. To address these limitations, we propose YesTrack, a novel two-stage RMOT method that reformulates referring as a discriminative task, directly leveraging MLLMs for Yes/No verification without explicit text generation. To further enhance the reliability and efficiency of this MLLM-based verification, we introduce two lightweight temporal consistency constraints: Temporal Confidence Prior (TCP) and Temporal Reference Propagation (TRP). We further validate the generality of this discriminative paradigm by proposing YesTrack-MOT, a straightforward yet highly effective instantiation for generic multi-object tracking (MOT). Experiments on Refer-KITTI and Refer-KITTI-V2 show that YesTrack significantly outperforms existing state-of-the-art methods while maintaining high efficiency, even when implemented with the smallest variant of Qwen3-VL. Code is released at https://github.com/ggbondrighthere24/YesTrack.
• Abstract（参考訳）: マルチオブジェクト追跡(RMOT)の参照は、与えられた言語表現にマッチしたビデオ内のすべてのインスタンスを追跡することを目的としている。 近年,MLLM(Multimodal large language model)が統合されて一般化が進んでいるが,既存の手法ではキャプションジェネレータの役割に重きを置いており,最終的な意思決定には外部モジュールが必要である。 このパラダイムは、余分なレイテンシをもたらすだけでなく、MLLMの固有の視覚言語アライメント機能にも悪用する。 このような制約に対処するため,差別的タスクとして参照する2段階のRMOT法であるYesTrackを提案し,明示的なテキスト生成なしにMLLMをYes/No検証に活用する。 このMLLMに基づく検証の信頼性と効率をさらに高めるために、時間的信頼優先(TCP)と時間的参照伝達(TRP)の2つの軽量な時間的整合性制約を導入する。 汎用多対象追跡(MOT)のための単純かつ高効率なインスタンス化であるYesTrack-MOTを提案することにより、この識別パラダイムの一般性をさらに検証する。 Refer-KITTI と Refer-KITTI-V2 の実験により、YesTrack はQwen3-VL の最小変種で実装しても、高い効率を維持しながら既存の最先端手法を著しく上回っていることが示された。 コードはhttps://github.com/ggbondrighthere24/YesTrack.comで公開されている。

関連論文リスト

• LLMTrack: Semantic Multi-Object Tracking with Multi-modal Large Language Models [7.6967194010564235]
  セマンティック・マルチオブジェクト追跡(SMOT)のための新しいエンドツーエンドフレームワークである textbfLLMTrack を提案する。 我々は、眼としてDINOを、脳としてLLaVA-OneVisionのマルチモーダル大モデルを用いて、深い理解から強いローカライゼーションを分離するバイオニックデザイン哲学を採用する。
  論文  参考訳（メタデータ） (2026-01-10T12:18:12Z)
• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
  MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。 ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
  論文  参考訳（メタデータ） (2025-03-06T15:29:13Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [66.04061083611863]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• ChatTracker: Enhancing Visual Tracking Performance via Chatting with Multimodal Large Language Model [29.702895846058265]
  Vision-Language(VL)トラッカーは、様々なアプリケーションにおける汎用性を高めるために、追加の自然言語記述を活用することを提案している。 VLトラッカーは、追跡性能の点で依然としてState-of-The-Art (SoTA)ビジュアルトラッカーより劣っている。 本稿では,MLLM(Multimodal Large Language Model)における多言語知識の豊富な活用を目的としたChatTrackerを提案し,高品質な言語記述を生成する。
  論文  参考訳（メタデータ） (2024-11-04T02:43:55Z)
• Bootstrapping Referring Multi-Object Tracking [27.77514740607812]
  マルチオブジェクト追跡(RMOT)と呼ばれる新しい一般的な参照理解タスクを導入する。 その中核となる考え方は、言語表現を意味的キューとして利用して、多目的追跡の予測を導くことである。 高品質なアノテーションを効率よく生成するために,9,758個の言語プロンプトを定式化する半自動ラベリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:02:10Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。