論文の概要: Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
- arxiv url: http://arxiv.org/abs/2607.24786v1
- Date: Mon, 22 Jun 2026 11:13:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.065198
- Title: Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
- Title（参考訳）: 大規模オーディオ-ビジュアル検索モデルにおけるアンロック空間グラウンド
- Abstract要約: 前例のない規模で訓練された近年の大規模音声視覚検索モデルは、リッチなマルチモーダル構造を符号化している。
これらの潜在表現はグローバルアライメントに最適化されているものの、それでもきめ細かい空間的接地を可能にすることを示す。
LAIP (emphLocalization via Audio-Informed Pooling) は,AiSP(EmphAudio-informed Spatial Pooling) を標準のグローバルアグリゲーションモジュールに置き換えた軽量なフレームワークである。
提案手法は, AVSBench と AVATAR の最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 40.642782669311686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weak supervision sets a practical regime for audio-visual sound source localization as dense spatial annotations are costly to obtain at scale. The task, however, remains challenging, as models must locate sound sources from temporally aligned audio-visual data without pixel-level supervision. Recent large-scale audio-visual retrieval models, trained at unprecedented scale, encode rich multimodal structure. We show their latent representations, though optimized for global alignment, can nonetheless enable fine-grained spatial grounding. While spatial detail is progressively lost in the upper layers of retrieval backbones due to global pooling, intermediate visual tokens retain highly structured spatial information. To exploit this, we introduce LAIP (\emph{Localization via Audio-Informed Pooling}), a framework that employs a lightweight \emph{Audio-informed Spatial Pooling} (AiSP) to replace the standard global aggregation module. By using frame-aligned audio to query intermediate visual tokens, LAIP recovers localized spatial information that is otherwise discarded by the frozen retrieval pipeline. Our approach achieves state-of-the-art performance on AVSBench and AVATAR, nearly doubling previous results on the latter. These findings prove that accurate localization does not need to be learned from scratch; instead, it can be unlocked from existing retrieval representations, providing a unified path for both retrieval and localization tasks.
- Abstract（参考訳）: 弱監督は、高密度な空間アノテーションが大規模に取得するのにコストがかかるため、オーディオ視覚音源定位のための実践的な制度を定めている。
しかし、この課題は、モデルが画素レベルの監督なしに、時間的に整列した音声-視覚データから音源を見つける必要があるため、依然として困難である。
前例のない規模で訓練された近年の大規模音声視覚検索モデルは、リッチなマルチモーダル構造を符号化している。
これらの潜在表現はグローバルアライメントに最適化されているものの、それでもきめ細かい空間的接地を可能にすることを示す。
大域プールによる検索バックボーンの上部層では空間的詳細が徐々に失われていくが、中間的な視覚トークンは高度に構造化された空間情報を保持する。
これを活用するために, LAIP (\emph{Localization via Audio-Informed Pooling}) を導入し, 標準グローバルアグリゲーションモジュールを置き換えるために, 軽量な \emph{Audio-informed Spatial Pooling} (AiSP) を用いたフレームワークを提案する。
フレーム整列オーディオを用いて中間的な視覚トークンを問合せすることにより、LAIPは、凍結したパイプラインによって破棄された局所化された空間情報を復元する。
提案手法は, AVSBench と AVATAR の最先端性能を実現する。
これらの結果は、正確なローカライゼーションをゼロから学ぶ必要はないことを証明し、代わりに既存の検索表現から解放することができ、検索タスクとローカライゼーションタスクの両方に統一されたパスを提供する。
関連論文リスト
- USS-Nav: Unified Spatio-Semantic Scene Graph for Lightweight UAV Zero-Shot Object Navigation [10.934912400963588]
USS-Navは、Unified Spatio-Semanticのシーングラフをインクリメンタルに構築する軽量フレームワークである。
未知環境での効率的なLarge Language Model (LLM)拡張Zero-Shot Object Navigationを可能にする。
我々のフレームワークは、計算効率とリアルタイム更新頻度の点で最先端の手法より優れています。
論文 参考訳（メタデータ） (2026-01-31T13:10:02Z) - DynaPURLS: Dynamic Refinement of Part-aware Representations for Skeleton-based Zero-Shot Action Recognition [51.80782323686666]
textbfDynaPURLSは、堅牢でマルチスケールなビジュアル・セマンティック対応を確立する統一的なフレームワークである。
我々のフレームワークは、グローバルな動きと局所的な身体部分のダイナミクスの両方を含む階層的なテキスト記述を生成するために、大きな言語モデルを活用する。
NTU RGB+D 60/120とPKU-MMDを含む3つの大規模ベンチマークデータセットの実験は、DynaPURLSが先行技術よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2025-12-12T10:39:10Z) - SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。
SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
論文 参考訳（メタデータ） (2025-11-10T01:29:26Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - Glocal Information Bottleneck for Time Series Imputation [70.41814118117311]
Time Series Imputationは、時間データの欠落した値を復元することを目的としている。
既存のモデルは、通常、数値(ローカル情報)の回復に焦点をあてて、ポイントワイズ復元損失を最適化する。
我々はGlocal Information Bottleneck(Glocal-IB)という新たなトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2025-10-06T15:24:44Z) - Beamformed 360° Sound Maps: U-Net-Driven Acoustic Source Segmentation and Localization [0.10485739694839666]
球状セマンティックセグメンテーションタスクとして定式化された360deg音響音源定位のためのU-netモデルを提案する。
私たちのデータセットには、DJI Air 3ドローンの実際のオープンフィールド記録が含まれています。
論文 参考訳（メタデータ） (2025-08-01T04:23:18Z) - Spatial and Semantic Embedding Integration for Stereo Sound Event Localization and Detection in Regular Videos [3.2472293599354596]
本報告では,DCASE2025 Task 3 Challenge: Stereo Sound Event Localization and Detection in regular Video Contentの音声のみおよび音声視覚トラックに提案するシステムについて述べる。
SELDは、時間的事象分類と空間的局所化を組み合わせた複雑なタスクであり、空間的、時間的、意味的な次元にわたって推論を必要とする。
そこで本研究では,音声用CLAPと視覚入力用OWL-ViTという,事前学習型コントラスト言語対応モデルを統合することで,セマンティック情報を用いた標準的なSELDアーキテクチャを強化した。
論文 参考訳（メタデータ） (2025-07-07T10:08:57Z) - CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。
音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。
パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
論文 参考訳（メタデータ） (2025-05-02T12:59:58Z) - Detecting Audio-Visual Deepfakes with Fine-Grained Inconsistencies [11.671275975119089]
空間領域と時間領域の両方において微妙なアーティファクトを検出するためのきめ細かいメカニズムを提案する。
まず,音声との不整合が生じやすい小さな空間領域を撮影できる局所視覚モデルを提案する。
第2に、トレーニングセットに微妙な時間的不整合を取り入れたサンプルを含む、時間的に局所的な擬似フェイク増強を導入する。
論文 参考訳（メタデータ） (2024-08-13T09:19:59Z) - A-JEPA: Joint-Embedding Predictive Architecture Can Listen [35.308323314848735]
本稿では,音声スペクトルから自己教師付き学習を行うシンプルな拡張手法であるA-JEPAについて紹介する。
A-JEPAは、コンテキストエンコーダによるカリキュラムマスキング戦略で可視音声スペクトログラムパッチをエンコードし、よく設計された場所でサンプリングされた領域の表現を予測する。
論文 参考訳（メタデータ） (2023-11-27T13:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。