論文の概要: Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation

• arxiv url: http://arxiv.org/abs/2611.06074v1
• Date: Wed, 04 Nov 2026 07:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.01134
• Title: Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation
• Title（参考訳）: どちらの音が聞こえているか? バイノーラル音の音節分離における曖昧さ
• Abstract要約: 既存の音声視覚分割法は主に音関連領域やカテゴリーマスクを予測する。 音源方向情報を符号化した音声を導入し,同一クラスの視覚的候補と区別するための空間的制約を提供する。 BiSID-AVSは、インスタンスレベルのmIoUを35.19と41.21のパーセンテージで改善し、非音域の同一領域での誤アクティベーションを大幅に低減する。
• 参考スコア（独自算出の注目度）: 33.07921845806762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing audio-visual segmentation methods mainly predict sound-related regions or category masks and often fail to identify the sounding instance when multiple same-class candidates coexist. Recent audio-visual instance segmentation methods address instance-level prediction but rely largely on motion and cross-frame association, which may become unreliable under sparse observations or inconspicuous motion. To this end, we introduce binaural audio, whose interaural differences encode source-direction information, to provide spatial constraints for distinguishing the sounding instance among same-class visual candidates. We propose Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation (BiSID-AVS), which progressively refines category-level candidate responses into a mask of the true sounding instance. BiSID-AVS first grounds category-consistent candidate regions through audio prompting, then projects binaural cues into an image-plane spatial response map, and finally refines the true sounding instance through dual-level spatial conditioning at the feature and decoder levels. Experiments on the binaurally extended AVS-Synthetic benchmark and Habitat-AVS dataset for robotic indoor perception show that BiSID-AVS achieves the best performance on the multi-candidate subsets, improving instance-level mIoU by 35.19 and 41.21 percentage points, respectively, while substantially reducing false activation on non-sounding same-class regions.
• Abstract（参考訳）: 既存の音声視覚分割法は、主に音関連領域やカテゴリマスクを予測し、複数の同一クラス候補が共存している場合、音のインスタンスを特定するのに失敗することが多い。 最近の音声-視覚的インスタンス分割法は、インスタンスレベルの予測に対処するが、ほとんどは動きとクロスフレームの関連に頼っている。 そこで本研究では、音源方向情報を符号化したバイノーラルオーディオを導入し、同一クラスの視覚的候補間での発声事例の識別に空間的制約を与える。 本稿では, カテゴリレベルの候補応答を, 真の音響インスタンスのマスクに徐々に洗練するバイノーラル・サウンド・インスタンス・ディアンビグレーション (BiSID-AVS) を提案する。 BiSID-AVSは、まず音声プロンプトによりカテゴリ一貫性のある候補領域を接地し、次にバイノーラルキューを画像平面空間応答マップに投影し、最終的に特徴量とデコーダレベルの二重レベル空間条件で真の音のインスタンスを改良する。 AVS-SyntheticベンチマークとHabitat-AVSデータセットを用いたロボット室内知覚実験により、BiSID-AVSは複数の候補サブセット上で最高の性能を達成し、インスタンスレベルのmIoUを35.19ポイント、41.21ポイント改善し、非音域の同級領域での偽の活性化を大幅に低減した。

関連論文リスト

• Binaural Audio-Visual Instance Segmentation [10.9119443459505]
  音声とビデオのフレームを同期化して音声のセグメント化を行う新しいタスクであるBiAVISを導入する。 この課題について研究を進めるために,既存の音声視覚データセットを手動でアノテートし,より困難で多様なシナリオで新たな実世界のデータセットであるBiAVIS-Benchを収集することにより,2つのベンチマークを確立する。 提案した2つのベンチマークで行った大規模な実験は、以前のモノラルAVS法よりもBiAVISモデルの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2026-09-26T03:07:36Z)
• Acoustically Grounded Cost Learning for Open-Vocabulary Audio-Visual Semantic Segmentation [95.88527433039519]
  Open-Vocabulary Audio-Visual Semantic (OV-AVSS) は、オープンなカテゴリの集合から、音を放出するオブジェクトのピクセルレベルのセグメンテーションを実行することを目的としている。 カテゴリー特化の目的を整理し,新しい音響的基盤型コスト学習フレームワークを提案する。 AVSBench-OVデータセットの実験により,本手法が従来の最先端手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2026-08-29T08:02:27Z)
• Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation [59.11043512784162]
  本稿では,SNRPモジュールとDAMF戦略を備えたSDAVSを提案する。 実験により,提案手法はベンチマークAVSデータセットの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-15T03:22:24Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Transavs: End-To-End Audio-Visual Segmentation With Transformer [33.56539999875508]
  本稿では,トランスフォーマーをベースとしたオーディオ・ビジュアルタスクのためのエンドツーエンドフレームワークであるTransAVSを提案する。 TransAVSはオーディオストリームをオーディオクエリとして切り離し、画像と対話し、セグメンテーションマスクにデコードする。 実験の結果,TransAVS は AVSBench データセット上で最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2023-05-12T03:31:04Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。