論文の概要: SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention
- arxiv url: http://arxiv.org/abs/2610.15764v1
- Date: Sun, 11 Oct 2026 16:43:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 16:44:47.19961
- Title: SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention
- Title（参考訳）: SlotAVS:双方向スロットアテンションによるオブジェクト中心オーディオ・ビジュアルセグメンテーション
- Abstract要約: 競合する双方向スロットアテンションによって駆動されるオブジェクト中心のフレームワークであるSlotAVSを提案する。
離散オブジェクトスロットを時間的オーディオシーケンスから初期化することにより、SlotAVSはパラダイムをグローバルなクロスモーダル融合から明示的な競合結合へとシフトさせる。
AVSBenchデータセットの実験は、我々のアプローチの有効性を実証している。
- 参考スコア（独自算出の注目度）: 5.37170548775502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio-Visual Segmentation (AVS) requires predicting pixel-wise masks of sounding objects by grounding acoustic signals in visual space. In multi-source scenes, concurrent sound sources often remain entangled within shared visual representations, leading to merged masks or unstable specialization when using standard alignment-focused transformer architectures. To address this, we present SlotAVS, an object-centric framework driven by competitive bi-modal slot attention. While robust foundation models provide rich semantic priors, SlotAVS shifts the paradigm from global cross-modal fusion to explicit competitive binding. By initializing discrete object slots from temporal audio sequences and enforcing strict slot-wise competition over spatial visual tokens, our method structurally mitigates the blending of distinct acoustic entities. Further, to stabilize instance-level learning, we introduce a Hungarian matching strategy that optimally aligns slots with ground-truth objects using spatial and boundary overlap. Coupled with a numerically stable, confidence-aware mask fusion mechanism, SlotAVS robustly aggregates multi-source predictions. Extensive experiments on the AVSBench dataset demonstrate the efficacy of our approach, achieving 88.6% mIoU on the Single-Source (S4) split and 71.7% mIoU on the Multi-Source (MS3) split. These results show that explicit competitive binding is critical for complex audio-visual scene understanding and effectively leveraging foundation-model priors without relying solely on their capacity.
- Abstract（参考訳）: オーディオ・ビジュアル・セグメンテーション (AVS) では、視覚空間における音響信号のグラウンド化により、物体の画素単位のマスクを予測する必要がある。
マルチソースシーンでは、コンカレント・サウンド・ソースは共有された視覚的表現に絡まっており、標準的なアライメント中心のトランスフォーマー・アーキテクチャを使用する場合、マージマスクや不安定な特殊化につながる。
これを解決するために、競合する双方向スロットアテンションによって駆動されるオブジェクト中心のフレームワークであるSlotAVSを提案する。
堅牢な基盤モデルは、豊富なセマンティックな先行概念を提供するが、SlotAVSはパラダイムをグローバルなクロスモーダル融合から明示的な競合的結合へとシフトさせる。
離散オブジェクトスロットを時間的オーディオシーケンスから初期化し、空間的視覚トークンに対する厳密なスロットワイド競合を強制することにより、異なる音響エンティティのブレンディングを構造的に緩和する。
さらに、インスタンスレベルの学習を安定させるために、空間的および境界的重なりを利用してスロットを接地構造オブジェクトと最適に整列するハンガリーのマッチング戦略を導入する。
SlotAVSは、数値的に安定し、信頼性に配慮したマスク融合機構と組み合わせて、マルチソース予測を強力に集約する。
AVSBenchデータセットの大規模な実験は、S4分割で88.6% mIoU、MS3)分割で71.7% mIoUを達成し、我々のアプローチの有効性を実証している。
これらの結果から,音声・視覚シーンの複雑な理解には明示的な競合的結合が重要であり,その能力のみに頼らずに基礎モデル先行を効果的に活用することが示唆された。
関連論文リスト
- GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining [64.72014392166625]
GMS-CAVPは、マルチスケールビデオ・オーディオアライメントとマルチスケール空間時間拡散に基づく事前学習目的を組み合わせた、新しいフレームワークである。
まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。
第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。
論文 参考訳（メタデータ） (2026-01-27T13:43:32Z) - Decoupled Audio-Visual Dataset Distillation [44.63243875072762]
本稿では,事前学習に基づくオーディオ-視覚蒸留フレームワークであるDAVDDを提案する。
これらの課題に対処するため、プレトレーニングベースで分離されたオーディオ視覚蒸留フレームワークであるDAVDDを提案する。
論文 参考訳（メタデータ） (2025-11-22T02:36:50Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。
意味論の欠如により、異種表現は誤った一致につながる可能性がある。
モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
論文 参考訳（メタデータ） (2025-07-28T11:46:35Z) - Unsupervised Audio-Visual Segmentation with Modality Alignment [42.613786372067814]
Audio-Visualは、特定の音を生成する視覚シーンのオブジェクトをピクセルレベルで識別することを目的としている。
現在のAVSメソッドは、コストのかかるマスクとオーディオのペアの細かいアノテーションに依存しているため、スケーラビリティには実用的ではない。
そこで本研究では,モダリティ対応アライメント(MoCA)と呼ばれる教師なし学習手法を提案する。
論文 参考訳（メタデータ） (2024-03-21T07:56:09Z) - Multimodal Variational Auto-encoder based Audio-Visual Segmentation [46.67599800471001]
ECMVAEは、各モダリティの表現をモダリティ共有表現とモダリティ固有表現で分解する。
当社のアプローチでは,3.84mIOUの性能向上を図りながら,音声・視覚的セグメンテーションのための新たな最先端技術が実現されている。
論文 参考訳（メタデータ） (2023-10-12T13:09:40Z) - QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。
安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。
意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
論文 参考訳（メタデータ） (2023-09-29T20:48:44Z) - Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。
既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。
タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
論文 参考訳（メタデータ） (2023-09-13T05:05:47Z) - Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。
複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。
我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-30T22:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。