論文の概要: Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

• arxiv url: http://arxiv.org/abs/2608.09435v1
• Date: Mon, 10 Aug 2026 11:06:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.21566
• Title: Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models
• Title（参考訳）: オームニモーダル言語モデルに対する時空間音響-視覚音響イベント共振器の聴取, 視聴, 追跡
• Authors: Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo,
• Abstract要約: 本研究では、パノラマビデオと、移動音源の同期一階Ambisonics(FOA)オーディオを組み合わせて構築したベンチマークを示す。 40Kの動画と400Kの質問応答ペアを4つの能力レベルに分類し、音量認識、到着方向、音源距離、動きの軌跡、時間的に接地された音声視覚的推論をカバーしている。 本ベンチマークで提案するST-Omni-R1は、パノラマ的な視覚的文脈でFOAのセマンティック表現と軌道表現を実現し、漸進的なカリキュラム学習と推論木強化学習を通じて学習する。
• 参考スコア（独自算出の注目度）: 41.044279131530885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding dynamic sound sources requires jointly determining what produces a sound, where the source is located, and how it moves over time. Yet existing audio-language models often represent clips as global acoustic events, while vision-language models lack the spatial audio cues needed to localize and track individual sources. To evaluate this missing capability, we introduce ST-OmniQA, a spatio-temporal audio-visual question-answering benchmark built from panoramic videos paired with synchronized first-order Ambisonics (FOA) audio of moving sound sources. It contains 40K videos and 400K question-answer pairs organized into four capability levels covering sound-event recognition, direction of arrival, source distance, motion trajectories, and temporally grounded audio-visual reasoning. Building on this benchmark, we propose ST-Omni-R1, which integrates FOA-derived semantic and trajectory representations with panoramic visual context and is trained through progressive curriculum learning and reasoning-tree reinforcement learning. ST-Omni-R1 achieves 77.83\% average semantic accuracy across the four levels, compared with 37.28\% for the best evaluated baseline. Results on three public spatial-audio benchmarks further indicate that its learned spatial and motion representations transfer beyond ST-OmniQA.
• Abstract（参考訳）: ダイナミックな音源を理解するには、どの音源がどこにあるか、どのように時間とともに動くのかを共同で決定する必要がある。 しかし、既存の音声言語モデルは、クリップをグローバルな音響イベントとして表現することが多いが、視覚言語モデルは、個々のソースのローカライズと追跡に必要な空間的オーディオキューが欠如している。 そこで本研究では,パノラマビデオと移動音源の同期1次アンビニクス(FOA)音声を組み合わせた時空間音声-視覚的質問応答ベンチマークST-OmniQAを提案する。 40Kの動画と400Kの質問応答ペアを4つの能力レベルに分類し、音量認識、到着方向、音源距離、動きの軌跡、時間的に接地された音声視覚的推論をカバーしている。 本ベンチマークで提案するST-Omni-R1は,FOAから派生した意味表現と軌跡表現をパノラマ的視覚コンテキストに統合し,漸進的なカリキュラム学習と推論木強化学習を通じて学習する。 ST-Omni-R1は4つのレベルの平均意味精度を77.83\%、評価ベースラインは37.28\%である。 3つの公開空間オーディオベンチマークの結果は、その学習された空間表現と運動表現がST-OmniQAを超えて移動することを示している。

関連論文リスト

• Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
  本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。 実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
  論文  参考訳（メタデータ） (2026-06-12T05:58:31Z)
• Sci-Phi: A Large Language Model Spatial Audio Descriptor [25.302416479626974]
  Sci-Phi は空間空間エンコーダとスペクトルエンコーダを備えた空間音響モデルである。 1回のパスで最大4つの方向の音源を列挙し、記述する。 性能をわずかに低下させるだけで、実際の部屋のインパルス応答に一般化する。
  論文  参考訳（メタデータ） (2025-10-07T03:06:02Z)
• In-the-wild Audio Spatialization with Flexible Text-guided Localization [37.60344400859993]
  没入感を高めるために、オーディオはAR、VR、組み込みAIアプリケーションにおける音の物体を空間的に認識する。 既存のオーディオ空間化法は一般に任意のモノラルオーディオを音声信号にマッピングできるが、複雑なマルチオブジェクトのユーザ対話環境において必要とされる柔軟性と対話性に欠けることが多い。 フレキシブルテキストプロンプトを利用したテキスト誘導型音声空間化(TAS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-01T09:41:56Z)
• AV-GS: Learning Material and Geometry Aware Priors for Novel View Acoustic Synthesis [62.33446681243413]
  ビュー音響合成は、音源が3Dシーンで出力するモノのオーディオを考慮し、任意の視点でオーディオを描画することを目的としている。 既存の手法では、音声合成の条件として視覚的手がかりを利用するため、NeRFベースの暗黙モデルが提案されている。 本研究では,シーン環境全体を特徴付ける新しいオーディオ・ビジュアル・ガウス・スプレイティング(AV-GS)モデルを提案する。 AV-GSが実世界のRWASやシミュレーションベースのSoundSpacesデータセットの既存の代替品よりも優れていることを検証する。
  論文  参考訳（メタデータ） (2024-06-13T08:34:12Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。