論文の概要: Audio-Visual Segmentation via Depth-Guided Collaborative Modeling
- arxiv url: http://arxiv.org/abs/2608.16285v1
- Date: Mon, 17 Aug 2026 08:55:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.599595
- Title: Audio-Visual Segmentation via Depth-Guided Collaborative Modeling
- Title（参考訳）: Depth-Guided Collaborative Modelingによるオーディオ・ビジュアルセグメンテーション
- Abstract要約: DGCM-AVSは,音声,視覚,深度情報を共同でモデル化する3モーダルフレームワークである。
具体的には、隣接するオブジェクトの分離を改善するために、Depth-Aware Dynamic Modulatorを設計する。
また,Depth-Progressive Fusionを提案する。Deepth-Progressive Fusionは,オーディオキューと視覚的特徴を漸進的に整合させる中間ブリッジとして,Deepth-Progressive Fusionを提案する。
- 参考スコア（独自算出の注目度）: 29.80729421970825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio-Visual Segmentation (AVS) is a fundamental task in multimodal perception that performs pixel-level segmentation of sounding objects in videos by leveraging both visual and audio cues. It has broad applications in video understanding, human-computer interaction, and autonomous driving. However, most existing AVS methods do not explicitly model geometric cues such as relative distance and occlusion, thereby limiting the robustness of cross-modal alignment. In human perception, spatial structure is naturally integrated with audio-visual evidence to accurately localize sounding objects. Motivated by this, we incorporate estimated depth as a spatial structural cue for AVS and propose DGCM-AVS, a tri-modal framework that jointly models audio, visual, and depth information. Specifically, we design a Depth-Aware Dynamic Modulator to improve the separation of adjacent objects while preserving intra-object feature consistency. Furthermore, we propose Depth-Guided Progressive Fusion, which uses depth as an intermediate bridge to progressively align audio cues with visual features. Compared to state-of-the-art methods, DGCM-AVS achieves relative improvements of 10.2 percent in M_J and 8.7 percent in M_F on the AVSS dataset. We believe our study highlights depth as a promising yet underexplored modality for AVS and may encourage further research in this direction.
- Abstract（参考訳）: オーディオ・ビジュアル・セグメンテーション(AVS, Audio-Visual Segmentation)は、視覚とオーディオの両方の手がかりを活用して、ビデオ中の音像のピクセルレベルのセグメンテーションを行うマルチモーダル認識の基本的なタスクである。
ビデオ理解、人間とコンピュータの相互作用、自律運転に広く応用されている。
しかし、既存のAVS法の多くは、相対距離や閉塞といった幾何学的手がかりを明示的にモデル化していないため、モーダルアライメントのロバスト性は制限される。
人間の知覚では、空間構造は音声と視覚の証拠と自然に統合され、正確な音像の局所化を行う。
そこで我々は,推定深度をAVSの空間構造キューとして組み込んで,音声,視覚,深度情報を共同でモデル化する3モーダルフレームワークDGCM-AVSを提案する。
具体的には,物体内特徴の整合性を保ちながら,隣接する物体の分離を改善するための奥行き対応動的変調器を設計する。
さらに,Depth-Guided Progressive Fusionを提案する。
最先端の手法と比較して、DGCM-AVSはM_Jの10.2%、AVSSデータセットの8.7%の相対的な改善を実現している。
我々の研究は、深度をAVSにとって有望だが未探索のモダリティとして強調し、この方向のさらなる研究を促進する可能性があると信じている。
関連論文リスト
- Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - AVS-Mamba: Exploring Temporal and Multi-modal Mamba for Audio-Visual Segmentation [62.682428307810525]
音声・視覚的セグメンテーションタスクに対処する選択状態空間モデルであるAVS-Mambaを導入する。
我々のフレームワークはビデオ理解とクロスモーダル学習の2つの重要な要素を取り入れている。
提案手法は, AVSBench-object と AVS-semantic のデータセット上で, 最新の結果を実現する。
論文 参考訳（メタデータ） (2025-01-14T03:20:20Z) - 3D Audio-Visual Segmentation [52.34970001474347]
ロボット工学やAR/VR/MRに様々な応用がある。
本稿では,事前学習した2次元オーディオ視覚基盤モデルから,使用可能な知識を統合することで特徴付ける新しいアプローチであるEchoSegnetを提案する。
実験により、EchoSegnetは、私たちの新しいベンチマークで、3D空間の音声オブジェクトを効果的にセグメント化できることが実証された。
論文 参考訳（メタデータ） (2024-11-04T16:30:14Z) - Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation [17.123212921673176]
本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。
ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。
提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
論文 参考訳（メタデータ） (2024-06-10T10:53:23Z) - Unsupervised Audio-Visual Segmentation with Modality Alignment [42.613786372067814]
Audio-Visualは、特定の音を生成する視覚シーンのオブジェクトをピクセルレベルで識別することを目的としている。
現在のAVSメソッドは、コストのかかるマスクとオーディオのペアの細かいアノテーションに依存しているため、スケーラビリティには実用的ではない。
そこで本研究では,モダリティ対応アライメント(MoCA)と呼ばれる教師なし学習手法を提案する。
論文 参考訳（メタデータ） (2024-03-21T07:56:09Z) - Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。
この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。
また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
論文 参考訳（メタデータ） (2024-02-04T03:02:35Z) - Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。
この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
論文 参考訳（メタデータ） (2023-10-31T20:15:40Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z) - Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。
この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。
また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
論文 参考訳（メタデータ） (2023-08-16T11:20:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。