論文の概要: LAVSS: Location-Guided Audio-Visual Spatial Audio Separation

• arxiv url: http://arxiv.org/abs/2310.20446v1
• Date: Tue, 31 Oct 2023 13:30:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 14:52:50.871715
• Title: LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
• Title（参考訳）: LAVSS:位置誘導型オーディオ空間オーディオ分離
• Authors: Yuxin Ye, Wenming Yang, Yapeng Tian
• Abstract要約: 位置誘導型空間空間オーディオセパレータを提案する。 提案するLAVSSは,空間的オーディオと視覚的位置の相関に着想を得たものである。 さらに,事前学習したモノラル分離器を用いて,豊かなモノラル音からの知識を伝達し,空間的音声分離を促進する。
• 参考スコア（独自算出の注目度）: 52.44052357829296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing machine learning research has achieved promising results in monaural audio-visual separation (MAVS). However, most MAVS methods purely consider what the sound source is, not where it is located. This can be a problem in VR/AR scenarios, where listeners need to be able to distinguish between similar audio sources located in different directions. To address this limitation, we have generalized MAVS to spatial audio separation and proposed LAVSS: a location-guided audio-visual spatial audio separator. LAVSS is inspired by the correlation between spatial audio and visual location. We introduce the phase difference carried by binaural audio as spatial cues, and we utilize positional representations of sounding objects as additional modality guidance. We also leverage multi-level cross-modal attention to perform visual-positional collaboration with audio features. In addition, we adopt a pre-trained monaural separator to transfer knowledge from rich mono sounds to boost spatial audio separation. This exploits the correlation between monaural and binaural channels. Experiments on the FAIR-Play dataset demonstrate the superiority of the proposed LAVSS over existing benchmarks of audio-visual separation. Our project page: https://yyx666660.github.io/LAVSS/.
• Abstract（参考訳）: 既存の機械学習研究は、monaural audio-visual separation (mavs)で有望な結果を得た。 しかし、ほとんどのmavs法は、音源の位置ではなく、音源がどこにあるかを純粋に考慮している。 これはVR/ARのシナリオにおける問題であり、リスナーは異なる方向にある類似のオーディオソースを区別する必要がある。 この制限に対処するため,mavを空間音声分離に一般化し,位置誘導型空間音声分離器の提案を行った。 LAVSSは空間的オーディオと視覚的位置の相関から着想を得ている。 バイノーラルオーディオによる位相差を空間的手がかりとして導入し,音像の位置表現を付加的なモーダルガイダンスとして利用する。 また,マルチレベルクロスモーダル・アテンションを活用し,音声機能との視覚位置協調を実現する。 さらに,訓練済みのモノーラル分離器を用いて,リッチモノ音からの知識を伝達し,空間音声の分離を促進する。 これはモノラルチャネルとバイノーラルチャネルの相関を利用する。 FAIR-Playデータセットの実験は、既存のオーディオ視覚分離のベンチマークよりも提案されたAVSSの方が優れていることを示している。 プロジェクトページ:https://yyx666660.github.io/LAVSS/。

関連論文リスト

• Semantic Grouping Network for Audio Source Separation [41.54814517077309]
  本稿では,SGNと呼ばれる新しいセマンティックグルーピングネットワークを提案する。 MUSIC, FUSS, MUSDB18, VGG-Sound という,音楽のみと普遍的な音分離ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-07-04T08:37:47Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation Knowledge [43.92428145744478]
  音声・視覚のセグメンテーションを行う2段階のブートストラップフレームワークを提案する。 第1段階では,視覚データから潜在的聴覚オブジェクトを局所化するためにセグメンテーションモデルを用いる。 第2段階では、音響-視覚的セマンティック統合戦略(AVIS)を開発し、音響-音響オブジェクトをローカライズする。
  論文  参考訳（メタデータ） (2023-08-20T06:48:08Z)
• Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization [13.278494654137138]
  人間は、音源を見つけるための空間的手がかりとして、オーディオと視覚の両方のモダリティを利用する。 両モードの空間的手がかりを統合した音声・視覚空間統合ネットワークを提案する。 提案手法はより堅牢な音源定位を実現する。
  論文  参考訳（メタデータ） (2023-08-11T11:57:58Z)
• Separate Anything You Describe [55.0784713558149]
  言語クエリオーディオソース分離(LASS)は,CASA(Computer auditory scene analysis)の新しいパラダイムである AudioSepは、自然言語クエリによるオープンドメインオーディオソース分離の基礎モデルである。
  論文  参考訳（メタデータ） (2023-08-09T16:09:44Z)
• Learning Spatial Features from Audio-Visual Correspondence in Egocentric Videos [69.79632907349489]
  本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。 本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
  論文  参考訳（メタデータ） (2023-07-10T17:58:17Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• Visual Sound Localization in the Wild by Cross-Modal Interference Erasing [90.21476231683008]
  現実のシナリオでは、オーディオは通常、オフスクリーンサウンドとバックグラウンドノイズによって汚染される。 本研究では,音声-視覚的音源定位問題に対処する干渉消去(IEr)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:06:19Z)
• Telling Left from Right: Learning Spatial Correspondence of Sight and Sound [16.99266133458188]
  本稿では,音声ストリーム内の空間情報を視覚ストリーム内の音源の位置に合わせるという原理を活用するための,新たな自己教師型タスクを提案する。 我々は、左右のオーディオチャンネルが反転したかどうかを判断するためにモデルを訓練し、視覚とオーディオストリーム間の空間的ローカライゼーションについて推論を強制する。 空間対応の理解により、3つの視覚的タスクにおいてモデルの性能が向上し、教師付きベースラインや自己教師付きベースラインよりも定量的に向上することが実証された。
  論文  参考訳（メタデータ） (2020-06-11T04:00:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。