論文の概要: AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes

• arxiv url: http://arxiv.org/abs/2606.02724v1
• Date: Mon, 01 Jun 2026 18:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.520458
• Title: AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes
• Title（参考訳）: AVTrack:人間中心の複合シーンにおけるオーディオ・ビジュアル・トラッキング
• Authors: Yaoting Wang, Yun Zhou, Zipei Zhang, Henghui Ding,
• Abstract要約: 音声-視覚的話者追跡は、聴覚と視覚の手がかりを活用して、アクティブな話者をローカライズし、追跡することを目的としている。 既存のデータセットは、粗いアノテーションを持つ単純または均質なオーディオ視覚シーンに限られている。 AVTrackは、動的実世界のシナリオ用に設計された、人間中心の音声視覚インスタンスセグメンテーションデータセットである。
• 参考スコア（独自算出の注目度）: 45.33872568312007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual speaker tracking aims to localize and track active speakers by leveraging auditory and visual cues, enabling fine-grained, human-centric scene understanding. This capability is essential for real-world applications such as intelligent video editing, surveillance, and human-computer interaction. However, existing datasets are largely limited to simple or homogeneous audio-visual scenes with coarse annotations. Such oversimplified settings bias evaluation toward static audio-visual co-occurrence, rather than rigorously assessing robust spatiotemporal modeling and cross-modal reasoning in complex, dynamic scenes. To address these limitations, we introduce AVTrack, a human-centric audio-visual instance segmentation (AVIS) dataset designed for dynamic real-world scenarios. AVTrack features diverse and challenging conditions, including camera motion, visual occlusions, and position changes. Evaluations of representative AVIS methods on AVTrack reveal substantial performance degradation, establishing AVTrack as a challenging benchmark for robust human-centric audio-visual scene understanding in complex environments. We further provide a simple yet effective baseline to facilitate future research. Project website: https://FudanCVL.github.io/AVTrack/
• Abstract（参考訳）: 音声-視覚的話者追跡は、聴覚と視覚の手がかりを活用してアクティブな話者をローカライズし、追跡することを目的としており、よりきめ細かな人間中心のシーン理解を可能にする。 この機能は、インテリジェントなビデオ編集、監視、人間とコンピュータのインタラクションといった現実世界のアプリケーションに不可欠である。 しかし、既存のデータセットは、粗いアノテーションを持つ単純または均質なオーディオ視覚シーンに限られている。 このような過度に単純化された設定バイアス評価は、複雑な動的シーンにおいて、頑健な時空間モデリングと相互モーダル推論を厳格に評価するのではなく、静的な視覚的共起に対するものである。 これらの制限に対処するため、動的現実シナリオ用に設計された人間中心のオーディオ視覚インスタンスセグメンテーション(AVIS)データセットであるAVTrackを紹介した。 AVTrackは、カメラモーション、ビジュアルオクルージョン、位置変化など、多様で困難な条件を特徴としている。 AVTrackにおける代表的AVIS手法の評価は、複雑な環境下での堅牢な人間中心の音声視覚シーン理解のための挑戦的なベンチマークとして、AVTrackを確立した。 さらに、今後の研究を促進するための、シンプルで効果的なベースラインも提供します。 プロジェクトウェブサイト: https://FudanCVL.github.io/AVTrack/

関連論文リスト

• Audio-Visual World Models: Towards Multisensory Imagination in Sight and Sound [5.591620304505415]
  この研究は、AVWM (Audio-Visual World Models) のための最初の公式なフレームワークを提示する。 マルチモーダル環境シミュレーションを、部分的に観察可能な決定プロセスとして定式化し、音声・視覚的観察、きめ細かいアクション、タスク報酬を提供する。 本稿では,視覚学習と聴覚学習のバランスをとる新しいモダリティ・エキスパート・アーキテクチャを用いたオーディオ・ビジュアル・コンディショナル・トランスフォーマーを提案する。
  論文  参考訳（メタデータ） (2025-11-30T13:11:56Z)
• AudioScene: Integrating Object-Event Audio into 3D Scenes [19.66595321540055]
  本稿では,AudioScanNetとAudioRobothorという2つの新しいオーディオ空間シーンデータセットを提案する。 音声クリップと空間的に整列した3Dシーンを統合することで、我々のデータセットは、音声信号が空間的文脈とどのように相互作用するかの研究を可能にする。
  論文  参考訳（メタデータ） (2025-11-25T14:28:13Z)
• EchoTrack: Auditory Referring Multi-Object Tracking for Autonomous Driving [64.58258341591929]
  聴覚参照マルチオブジェクトトラッキング(AR-MOT)は、自律運転において難しい問題である。 私たちは、デュアルストリーム・ビジョン・トランスフォーマーを備えたエンドツーエンドのAR-MOTフレームワークであるEchoTrackを提案しました。 大規模AR-MOTベンチマークの最初のセットを確立する。
  論文  参考訳（メタデータ） (2024-02-28T12:50:16Z)
• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
  本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。 本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。 また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
  論文  参考訳（メタデータ） (2022-06-15T17:33:19Z)
• AVA-AVD: Audio-visual Speaker Diarization in the Wild [26.97787596025907]
  既存のオーディオ視覚ダイアリゼーションデータセットは主に会議室やニューススタジオのような屋内環境に焦点を当てている。 本稿では,視覚情報に基づいて識別情報をキャプチャする効果的なモータリティマスクを導入した新しいオーディオ・ビジュアル・リレーション・ネットワーク(AVR-Net)を提案する。
  論文  参考訳（メタデータ） (2021-11-29T11:02:41Z)
• Bio-Inspired Audio-Visual Cues Integration for Visual Attention Prediction [15.679379904130908]
  視覚的注意予測(VAP)手法は、シーンを認識するための人間の選択的な注意機構をシミュレートする。 VAPタスクにはバイオインスパイアされたオーディオ・ビジュアル・キューの統合手法が提案されている。 実験は、DIEM、AVAD、Coutrot1、Coutrot2、SumMe、ETMDを含む6つの難しい視線追跡データセットで実施されている。
  論文  参考訳（メタデータ） (2021-09-17T06:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。