論文の概要: EchoTrack: Auditory Referring Multi-Object Tracking for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2402.18302v2
• Date: Mon, 5 Aug 2024 23:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 19:12:22.038272
• Title: EchoTrack: Auditory Referring Multi-Object Tracking for Autonomous Driving
• Title（参考訳）: EchoTrack: 自律運転のためのマルチオブジェクトトラッキングを聴覚的に参照する
• Authors: Jiacheng Lin, Jiajun Chen, Kunyu Peng, Xuan He, Zhiyong Li, Rainer Stiefelhagen, Kailun Yang,
• Abstract要約: 聴覚参照マルチオブジェクトトラッキング(AR-MOT)は、自律運転において難しい問題である。 私たちは、デュアルストリーム・ビジョン・トランスフォーマーを備えたエンドツーエンドのAR-MOTフレームワークであるEchoTrackを提案しました。 大規模AR-MOTベンチマークの最初のセットを確立する。
• 参考スコア（独自算出の注目度）: 64.58258341591929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the task of Auditory Referring Multi-Object Tracking (AR-MOT), which dynamically tracks specific objects in a video sequence based on audio expressions and appears as a challenging problem in autonomous driving. Due to the lack of semantic modeling capacity in audio and video, existing works have mainly focused on text-based multi-object tracking, which often comes at the cost of tracking quality, interaction efficiency, and even the safety of assistance systems, limiting the application of such methods in autonomous driving. In this paper, we delve into the problem of AR-MOT from the perspective of audio-video fusion and audio-video tracking. We put forward EchoTrack, an end-to-end AR-MOT framework with dual-stream vision transformers. The dual streams are intertwined with our Bidirectional Frequency-domain Cross-attention Fusion Module (Bi-FCFM), which bidirectionally fuses audio and video features from both frequency- and spatiotemporal domains. Moreover, we propose the Audio-visual Contrastive Tracking Learning (ACTL) regime to extract homogeneous semantic features between expressions and visual objects by learning homogeneous features between different audio and video objects effectively. Aside from the architectural design, we establish the first set of large-scale AR-MOT benchmarks, including Echo-KITTI, Echo-KITTI+, and Echo-BDD. Extensive experiments on the established benchmarks demonstrate the effectiveness of the proposed EchoTrack and its components. The source code and datasets are available at https://github.com/lab206/EchoTrack.
• Abstract（参考訳）: 本稿では,音声表現に基づく映像系列中の特定の物体を動的に追跡するAR-MOT(Auditory Referring Multi-Object Tracking)の課題を紹介する。 音声やビデオのセマンティックモデリング能力の欠如により、既存の研究は主にテキストベースの多目的追跡に焦点を合わせており、品質、相互作用効率、さらには補助システムの安全性といったコストがかかる。 本稿では,音声・ビデオ融合と音声・ビデオ追跡の観点から,AR-MOTの問題点を掘り下げる。 私たちは、デュアルストリーム・ビジョン・トランスフォーマーを備えたエンドツーエンドのAR-MOTフレームワークであるEchoTrackを提案しました。 両ストリームは双方向周波数領域クロスアテンション・フュージョンモジュール (Bi-FCFM) と連動しており、これは周波数領域と時空間領域の両方からオーディオとビデオの機能を双方向に融合させる。 さらに,音声と映像オブジェクト間の同質な特徴を効果的に学習することにより,表現と視覚オブジェクト間の同質な意味的特徴を抽出するACTL方式を提案する。 アーキテクチャ設計とは別に、Echo-KITTI、Echo-KITTI+、Echo-BDDなど、大規模なAR-MOTベンチマークの最初のセットを確立します。 確立されたベンチマークに関する大規模な実験は、提案されたEchoTrackとそのコンポーネントの有効性を実証している。 ソースコードとデータセットはhttps://github.com/lab206/EchoTrack.comで入手できる。

関連論文リスト

• HSTrack: Bootstrap End-to-End Multi-Camera 3D Multi-object Tracking with Hybrid Supervision [34.7347336548199]
  カメラベースの3Dマルチオブジェクトトラッキング(MOT)では、一般的な手法はトラッキング・バイ・クエリー・プロパゲーションのパラダイムに従っている。 本稿では,HSTrackを提案する。HSTrackは,マルチタスク学習を協調して検出・追跡する新しいプラグイン・アンド・プレイ方式である。
  論文  参考訳（メタデータ） (2024-11-11T08:18:49Z)
• VOVTrack: Exploring the Potentiality in Videos for Open-Vocabulary Object Tracking [61.56592503861093]
  オープンボキャブラリオブジェクト検出(OVD)とマルチオブジェクトトラッキング(MOT)の複雑さを両立させる。 OVMOT の既存のアプローチは、OVD と MOT の方法論を別個のモジュールとして統合することが多く、主に画像中心のレンズによる問題に焦点を当てている。 VOVTrackは、MOTとビデオ中心トレーニングに関連するオブジェクト状態を統合する新しい手法であり、ビデオオブジェクト追跡の観点からこの問題に対処する。
  論文  参考訳（メタデータ） (2024-10-11T05:01:49Z)
• TIM: A Time Interval Machine for Audio-Visual Action Recognition [64.24297230981168]
  音声と視覚イベントの時間的範囲を明示的にモデル化することで、長いビデオにおける2つのモード間の相互作用に対処する。 本稿では,TIM (Time Interval Machine) を提案する。 我々は、EPIC-KITCHENS、Perception Test、AVEの3つの長い音声視覚ビデオデータセットでTIMをテストする。
  論文  参考訳（メタデータ） (2024-04-08T14:30:42Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)
• Referred by Multi-Modality: A Unified Temporal Transformer for Video Object Segmentation [54.58405154065508]
  ビデオオブジェクトセグメンテーションの参照のためのマルチモーダル統一時間変換器を提案する。 MUTRは、初めて統合されたフレームワークにより、DETRスタイルのトランスフォーマーを採用し、テキストまたはオーディオ参照によって指定されたビデオオブジェクトをセグメント化することができる。 変換器以降の高レベルの時間的相互作用に対して,異なるオブジェクト埋め込みのためのフレーム間特徴通信を行い,ビデオに沿って追跡するためのオブジェクトワイズ対応の改善に寄与する。
  論文  参考訳（メタデータ） (2023-05-25T17:59:47Z)
• InterTrack: Interaction Transformer for 3D Multi-Object Tracking [9.283656931246645]
  3Dマルチオブジェクトトラッキング(MOT)は、自動運転車にとって重要な問題である。 提案手法であるInterTrackは,データアソシエーションのための識別対象表現を生成する。 我々はnuScenes 3D MOTベンチマークのアプローチを検証する。
  論文  参考訳（メタデータ） (2022-08-17T03:24:36Z)
• Unified Transformer Tracker for Object Tracking [58.65901124158068]
  異なるシナリオにおけるトラッキング問題に1つのパラダイムで対処するために,UTT(Unified Transformer Tracker)を提案する。 SOT(Single Object Tracking)とMOT(Multiple Object Tracking)の両方を対象とするトラックトランスフォーマーを開発した。
  論文  参考訳（メタデータ） (2022-03-29T01:38:49Z)
• Distractor-Aware Fast Tracking via Dynamic Convolutions and MOT Philosophy [63.91005999481061]
  実用的長期トラッカーは、典型的には3つの重要な特性を含む。 効率的なモデル設計、効果的なグローバル再検出戦略、堅牢な気晴らし認識メカニズム。 動的畳み込み (d-convs) と多重オブジェクト追跡 (MOT) の哲学を用いて, 注意をそらした高速トラッキングを実現するための2タスクトラッキングフレームワーク(DMTrack)を提案する。 我々のトラッカーはLaSOT, OxUvA, TLP, VOT2018LT, VOT 2019LTベンチマークの最先端性能を実現し, リアルタイム3倍高速に動作させる。
  論文  参考訳（メタデータ） (2021-04-25T00:59:53Z)
• Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations [16.447597767676655]
  入力ビデオシーケンスのソース位置をピンポイントすることを目的としている。 近年の研究では、ソースタイプの事前知識を用いて、オーディオと視覚の分離結果が顕著に示されている。 本研究では,出現と運動の手がかりを専門とする2段階アーキテクチャであるexeation and motion network (amnet)を提案する。
  論文  参考訳（メタデータ） (2021-04-17T10:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。