論文の概要: Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
- arxiv url: http://arxiv.org/abs/2610.14077v1
- Date: Thu, 08 Oct 2026 10:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.00858
- Title: Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
- Title（参考訳）: 動的オーディオ・ビジュアルナビゲーションのための2段階マルチモーダル学習:物理的アライメントからシーンアグリゲーション
- Abstract要約: Embodied Audio-Visual Navigation (AVN) は、視覚的および聴覚的手がかりを共同で活用することにより、音のターゲットを見つけるためのエージェントを必要とする。
既存のアプローチは主に意味的聴覚機能に依存しており、これは一般化を聴こえない音のカテゴリーに制限する。
D-AVNのための新しいSMSbfTwo-Stage Multi-informed Learningフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.175273901304253
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Embodied Audio-Visual Navigation (AVN) requires an agent to locate sound targets by jointly leveraging visual and auditory cues. While prior work has achieved notable success with static sound sources, real-world scenarios often involve moving targets, giving rise to the more challenging problem of \textbf{Dynamic Audio-Visual Navigation (D-AVN)}. Existing approaches largely rely on semantic auditory features, which limits generalization to unheard sound categories and hinders fine-grained spatial reasoning. To address these challenges, we propose a novel \textbf{Two-Stage Multi-modal Learning} framework for D-AVN. In the Physical Alignment stage, the proposed \textbf{Intensity-Calibrated Geometry Encoder (ICGE)} performs physics-informed alignment of sound intensity with visual geometry to capture category-agnostic spatial correspondence. In the Scene Aggregation stage, a Transformer-based \textbf{Cross-Modal Scene Aggregator (CMSA)} dynamically integrates multi-modal features to construct a robust state representation for policy learning. Extensive experiments on Replica and Matterport3D demonstrate that our method achieves state-of-the-art success rates, while significantly improving generalization and navigation efficiency in complex environments and under unheard sound scenarios.
- Abstract（参考訳）: Embodied Audio-Visual Navigation (AVN) は、視覚的および聴覚的手がかりを共同で活用することにより、音のターゲットを見つけるためのエージェントを必要とする。
従来の作業は静的な音源で顕著な成功を収めてきたが、現実のシナリオは移動ターゲットを伴うことが多く、より困難な問題である \textbf{Dynamic Audio-Visual Navigation (D-AVN)} を引き起こしている。
既存のアプローチは主に意味的聴覚機能に依存しており、これは一般化を音のカテゴリーに制限し、きめ細かい空間的推論を妨げている。
これらの課題に対処するために、D-AVN のための新しい textbf{Two-Stage Multi-modal Learning} フレームワークを提案する。
The physical Alignment stage, the proposed \textbf{Intensity-Calibrated Geometry Encoder (ICGE) performed physics-informed alignment of sound intensity with visual geometry to capture category-agnostic space correspondence。
Scene Aggregation ステージでは、Transformer ベースの \textbf{Cross-Modal Scene Aggregator (CMSA) が動的に統合され、ポリシー学習のための堅牢な状態表現を構築する。
ReplicaとMatterport3Dの広範囲な実験により,本手法は最先端の成功率を達成するとともに,複雑な環境下での一般化とナビゲーション効率を大幅に向上する。
関連論文リスト
- Dynamic-Robust Photometric-Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding [63.599342750566485]
SPARは、潜在空間アグリゲーションの前に過渡的ダイナミックノイズを明示的に分離する新しい意味幾何学的エンコーディングアーキテクチャである。
エンド・ツー・エンドのアプローチは例外的な新規なビュー合成品質を実現し、PSNRは22.15dB、23.33dBでそれぞれ3と4の入力ビューしか与えられなかった。
論文 参考訳（メタデータ） (2026-08-29T09:58:24Z) - CTAN: Cycle-Temporal Attention Network for Embodied Audio-Visual Navigation [4.024922311680863]
この研究は、アクティブなセマンティック・エンハンスド・フュージョンのために設計されたフレームワークであるCycle-Temporal Attention Network (CTAN)を提示する。
提案手法は,成功率(SR),経路長重み付き成功率(SPL),シーンナビゲーション精度(SNA)の観点から,従来の音声視覚ナビゲーション手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2026-07-25T03:36:47Z) - Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。
既存の手法は主にユークリッド空間における共同視覚表現を学習する。
音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
論文 参考訳（メタデータ） (2026-06-05T08:23:58Z) - Generalizable Audio-Visual Navigation via Binaural Difference Attention and Action Transition Prediction [9.175273901304253]
オーディオ・ビジュアル・ナビゲーション(AVN)では、エージェントは視覚的および聴覚的手がかりを使用して、見えない3D環境の音源を見つける必要がある。
本稿では,認知と政策を協調的に最適化する行動遷移予測(BDATP)フレームワークを提案する。
我々のフレームワークは、ほとんどの設定において最先端の成功率を達成し、未聴音に対するReplicaデータセットにおいて最大21.6ポイントの絶対的な改善を実現している。
論文 参考訳（メタデータ） (2026-04-06T13:08:36Z) - Audio-Visual World Models: Towards Multisensory Imagination in Sight and Sound [5.591620304505415]
この研究は、AVWM (Audio-Visual World Models) のための最初の公式なフレームワークを提示する。
マルチモーダル環境シミュレーションを、部分的に観察可能な決定プロセスとして定式化し、音声・視覚的観察、きめ細かいアクション、タスク報酬を提供する。
本稿では,視覚学習と聴覚学習のバランスをとる新しいモダリティ・エキスパート・アーキテクチャを用いたオーディオ・ビジュアル・コンディショナル・トランスフォーマーを提案する。
論文 参考訳（メタデータ） (2025-11-30T13:11:56Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - Audio-Guided Dynamic Modality Fusion with Stereo-Aware Attention for Audio-Visual Navigation [41.85539404067887]
オーディオ視覚ナビゲーション(AVN)タスクでは、エンボディエージェントは複雑な3D環境において、音源を自律的にローカライズする必要がある。
既存の手法は、しばしば静的なモダリティ融合戦略に依存し、ステレオオーディオに埋め込まれた空間的手がかりを無視する。
本稿では,2つの重要なイノベーションを生かした,エンドツーエンドの強化学習に基づくAVNフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-21T05:11:09Z) - SAVVY: Spatial Awareness via Audio-Visual LLMs through Seeing and Hearing [17.185628958975528]
ダイナミック・オーディオ・視覚環境における3次元空間推論は人間の認知の基盤となる。
SAVVYは、動的シーンにおける3次元空間推論のための最初のベンチマークである。
論文 参考訳（メタデータ） (2025-06-04T19:11:20Z) - QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。
安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。
意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
論文 参考訳（メタデータ） (2023-09-29T20:48:44Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。