論文の概要: Binaural Audio-Visual Instance Segmentation

• arxiv url: http://arxiv.org/abs/2609.32180v1
• Date: Sat, 26 Sep 2026 03:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:13:36.089215
• Title: Binaural Audio-Visual Instance Segmentation
• Title（参考訳）: バイノーラル・オーディオ・ビジュアル・インスタンス・セグメンテーション
• Abstract要約: 音声とビデオのフレームを同期化して音声のセグメント化を行う新しいタスクであるBiAVISを導入する。 この課題について研究を進めるために,既存の音声視覚データセットを手動でアノテートし,より困難で多様なシナリオで新たな実世界のデータセットであるBiAVIS-Benchを収集することにより,2つのベンチマークを確立する。 提案した2つのベンチマークで行った大規模な実験は、以前のモノラルAVS法よりもBiAVISモデルの方が優れた性能を示した。
• 参考スコア（独自算出の注目度）: 10.9119443459505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual segmentation (AVS) aims to segment sounding objects at the pixel level by integrating auditory and visual cues. However, existing methods are predominantly developed under the monaural setting and primarily rely on cross-modal semantic correspondence, which limits their ability to distinguish visually similar instances of the same semantic class. In contrast, humans naturally exploit binaural hearing, where interaural differences and direction-dependent acoustic filtering introduced by the head and pinnae provide physically grounded spatial cues for accurate sound source localization. Motivated by this observation, we introduce binaural audio-visual instance segmentation (BiAVIS), a new task that leverages synchronized binaural audio and video frames to segment sounding instances. To advance research on this task, we establish two benchmarks by manually annotating an existing binaural audio-visual dataset and collecting a new real-world dataset, BiAVIS-Bench, in more challenging and diverse scenarios. We further propose a BiAVIS model, which leverages an audio-only sound source localization network to learn spatial and semantic priors for sounding instances from binaural audio. A query-level audio-visual fusion strategy is subsequently introduced to inject these informative priors into the instance segmentation decoder. Extensive experiments conducted on the two proposed benchmarks demonstrate the superior performance of the BiAVIS model over previous monaural AVS methods, especially in resolving instance-level intra-class ambiguity. On the more challenging BiAVIS-Bench, the proposed BiAVIS model outperforms the best-performing monaural baselines by 17.22\% in mAP and 7.71\% in FSLA, respectively.
• Abstract（参考訳）: 聴覚的視覚的セグメンテーション(AVS)は、聴覚と視覚的手がかりを統合することで、聴覚的対象をピクセルレベルでセグメンテーションすることを目的としている。 しかし、既存の手法は主に単調な設定の下で開発され、主に、同じ意味クラスの視覚的に類似したインスタンスを識別する能力を制限するクロスモーダルな意味対応に依存している。 対照的に、ヒトはバイノーラル補聴器を自然に利用し、頭部と陰極が導入する音像の音像差と方向依存性の音響フィルタリングは、正確な音源定位のための物理的に接地された空間的手がかりを提供する。 本研究の目的は,バイノーラル音声とビデオフレームを同期化して音声のセグメント化を行うバイノーラル・オーディオ・ビジュアル・インスタンス・セグメンテーション(BiAVIS)の導入である。 この課題について研究を進めるために,既存のバイノーラル・オーディオ・ビジュアル・データセットを手動でアノテートし,より困難で多様なシナリオで新たなリアル・ワールド・データセットであるBiAVIS-Benchを収集することにより,2つのベンチマークを確立する。 さらに、音声のみの音源定位ネットワークを活用して、バイノーラルオーディオから音声インスタンスの空間的・意味的先行を学習するBiAVISモデルを提案する。 その後、クエリレベルの音声-視覚融合戦略を導入し、これらの情報的事前情報をインスタンスセグメンテーションデコーダに注入する。 提案した2つのベンチマークで行った大規模な実験は、従来のモノラルAVS法よりもBiAVISモデルの方が優れた性能を示し、特にインスタンスレベルのクラス内曖昧性の解消に寄与した。 より挑戦的な BiAVIS-Bench では、提案された BiAVIS モデルは、mAP で17.22 %、FSLA で7.71 % の最高パフォーマンスのモノラルベースラインをそれぞれ上回っている。

関連論文リスト

• Acoustically Grounded Cost Learning for Open-Vocabulary Audio-Visual Semantic Segmentation [95.88527433039519]
  Open-Vocabulary Audio-Visual Semantic (OV-AVSS) は、オープンなカテゴリの集合から、音を放出するオブジェクトのピクセルレベルのセグメンテーションを実行することを目的としている。 カテゴリー特化の目的を整理し,新しい音響的基盤型コスト学習フレームワークを提案する。 AVSBench-OVデータセットの実験により,本手法が従来の最先端手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2026-08-29T08:02:27Z)
• Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation [59.11043512784162]
  本稿では,SNRPモジュールとDAMF戦略を備えたSDAVSを提案する。 実験により,提案手法はベンチマークAVSデータセットの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-15T03:22:24Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)
• Unraveling Instance Associations: A Closer Look for Audio-Visual Segmentation [18.001730255429347]
  オーディオ視覚セグメント化(AVS)は、音声視覚キューに基づいて、正確に音を分割する作業である。 我々は,難易度と比較的偏りのない高画質な視覚的セグメンテーション・ベンチマークを構築するための新たなコスト効率戦略を提案する。 既存のAVSデータセットおよび我々の新しいベンチマークで行った実験により、我々の手法は最先端(SOTA)セグメンテーションの精度を達成できた。
  論文  参考訳（メタデータ） (2023-04-06T09:54:06Z)
• Visually Informed Binaural Audio Generation without Binaural Audios [130.80178993441413]
  記録のない効果的なパイプラインであるPseudoBinauralを提案します。 本研究では球面高調波分解と頭部関連インパルス応答(hrir)を用いて空間位置と受信音声の関係を同定する。 当社の記録のないパイプラインは、データセット間の評価において大きな安定性を示し、主観的な好みで匹敵するパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-04-13T13:07:33Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。