論文の概要: Tell Me What to Track: Infusing Robust Language Guidance for Enhanced Referring Multi-Object Tracking

• arxiv url: http://arxiv.org/abs/2412.12561v1
• Date: Tue, 17 Dec 2024 05:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:01:24.739328
• Title: Tell Me What to Track: Infusing Robust Language Guidance for Enhanced Referring Multi-Object Tracking
• Title（参考訳）: マルチオブジェクト追跡の強化を目的としたロバスト言語ガイダンスの活用
• Authors: Wenjun Huang, Yang Ni, Hanning Chen, Yirui He, Ian Bryant, Yezi Liu, Mohsen Imani,
• Abstract要約: 参照マルチオブジェクト追跡(RMOT)は、任意の数のターゲットをローカライズすることを目的とした、新たなクロスモーダルタスクである。 我々は、不均衡の影響を軽減するために協調的マッチング戦略を実行し、新生児の標的を検出する能力を高める。 エンコーダでは,従来の作業のボトルネックを克服し,クロスモーダル・マルチスケール融合を統合し,強化する。
• 参考スコア（独自算出の注目度）: 10.614327633823462
• License:
• Abstract: Referring multi-object tracking (RMOT) is an emerging cross-modal task that aims to localize an arbitrary number of targets based on a language expression and continuously track them in a video. This intricate task involves reasoning on multi-modal data and precise target localization with temporal association. However, prior studies overlook the imbalanced data distribution between newborn targets and existing targets due to the nature of the task. In addition, they only indirectly fuse multi-modal features, struggling to deliver clear guidance on newborn target detection. To solve the above issues, we conduct a collaborative matching strategy to alleviate the impact of the imbalance, boosting the ability to detect newborn targets while maintaining tracking performance. In the encoder, we integrate and enhance the cross-modal and multi-scale fusion, overcoming the bottlenecks in previous work, where limited multi-modal information is shared and interacted between feature maps. In the decoder, we also develop a referring-infused adaptation that provides explicit referring guidance through the query tokens. The experiments showcase the superior performance of our model (+3.42%) compared to prior works, demonstrating the effectiveness of our designs.
• Abstract（参考訳）: Referring Multi-object Tracking (RMOT)は、言語表現に基づいて任意の数のターゲットをローカライズし、ビデオ内で継続的に追跡することを目的とした、新たなクロスモーダルタスクである。 この複雑なタスクは、マルチモーダルデータに基づく推論と、時間的関連を伴う正確なターゲットローカライゼーションを含む。 しかし、以前の研究では、タスクの性質から生まれたターゲットと既存のターゲットとの間の不均衡なデータ分布を見落としていた。 さらに、彼らは間接的にマルチモーダル機能のみをフューズし、新生児の標的検出に関する明確なガイダンスを提供するのに苦労している。 上記の課題を解決するため,不均衡の影響を緩和し,追跡性能を維持しつつ,新生児の標的を検出する能力を高めるための協調的マッチング戦略を実施している。 エンコーダでは,機能マップ間で限られたマルチモーダル情報が共有され,相互に相互作用する従来の作業のボトルネックを克服し,クロスモーダル・マルチスケール融合を統合し,拡張する。 デコーダでは、クエリトークンを通して明確な参照ガイダンスを提供する参照注入型適応も開発する。 実験では, 従来モデルに比べて優れた性能(+3.42%)を示し, 設計の有効性を実証した。

関連論文リスト

• DeTra: A Unified Model for Object Detection and Trajectory Forecasting [68.85128937305697]
  提案手法は,2つのタスクの結合を軌道修正問題として定式化する。 この統合タスクに対処するために、オブジェクトの存在, ポーズ, マルチモーダルな将来の振る舞いを推測する精細化変換器を設計する。 実験では、我々のモデルはArgoverse 2 Sensor and Openデータセットの最先端性よりも優れています。
  論文  参考訳（メタデータ） (2024-06-06T18:12:04Z)
• Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
  本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。 提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。 この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
  論文  参考訳（メタデータ） (2023-08-27T13:17:34Z)
• Cross-modal Contrastive Learning for Multimodal Fake News Detection [10.760000041969139]
  COOLANTはマルチモーダルフェイクニュース検出のためのクロスモーダルコントラスト学習フレームワークである。 クロスモーダル融合モジュールは、クロスモーダル相関を学習するために開発された。 アテンションガイダンスモジュールは、アライメントされたユニモーダル表現を効果的かつ解釈可能に集約するために実装される。
  論文  参考訳（メタデータ） (2023-02-25T10:12:34Z)
• AntPivot: Livestream Highlight Detection via Hierarchical Attention Mechanism [64.70568612993416]
  本稿では,Livestream Highlight Detectionという新たなタスクを定式化し,上記の課題を議論・分析し,新しいアーキテクチャAntPivotを提案する。 我々は、このタスクをインスタンス化し、我々のモデルの性能を評価するために、完全に注釈付きデータセットAntHighlightを構築した。
  論文  参考訳（メタデータ） (2022-06-10T05:58:11Z)
• Correlation-Aware Deep Tracking [83.51092789908677]
  本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。 我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。 我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
  論文  参考訳（メタデータ） (2022-03-03T11:53:54Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Multi-Agent Embodied Visual Semantic Navigation with Scene Prior Knowledge [42.37872230561632]
  視覚的セマンティックナビゲーションでは、ロボットは自我中心の視覚的観察を行い、目標のクラスラベルが与えられる。 既存のモデルのほとんどは単一エージェントナビゲーションにのみ有効であり、より複雑なタスクを完了すると、単一のエージェントは低効率でフォールトトレランスが低い。 本稿では,複数のエージェントが協調して複数の対象物を見つけるマルチエージェント視覚意味ナビゲーションを提案する。
  論文  参考訳（メタデータ） (2021-09-20T13:31:03Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。