論文の概要: Weakly-supervised Audio-visual Sound Source Detection and Separation
- arxiv url: http://arxiv.org/abs/2104.02606v1
- Date: Thu, 25 Mar 2021 10:17:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 21:15:55.569377
- Title: Weakly-supervised Audio-visual Sound Source Detection and Separation
- Title（参考訳）: 弱教師付きオーディオ視覚音源検出と分離
- Authors: Tanzila Rahman, Leonid Sigal
- Abstract要約: 本稿では,個々の物体の見た目と音の双方をネットワークが学習する,音声と視覚の協調手法を提案する。
音分離の文脈で弱教師付きオブジェクトセグメンテーションを導入する。
私たちのアーキテクチャはエンドツーエンドで学ぶことができ、追加の監視やバウンディングボックスの提案は必要ありません。
- 参考スコア（独自算出の注目度）: 38.52168086518221
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning how to localize and separate individual object sounds in the audio
channel of the video is a difficult task. Current state-of-the-art methods
predict audio masks from artificially mixed spectrograms, known as
Mix-and-Separate framework. We propose an audio-visual co-segmentation, where
the network learns both what individual objects look and sound like, from
videos labeled with only object labels. Unlike other recent visually-guided
audio source separation frameworks, our architecture can be learned in an
end-to-end manner and requires no additional supervision or bounding box
proposals. Specifically, we introduce weakly-supervised object segmentation in
the context of sound separation. We also formulate spectrogram mask prediction
using a set of learned mask bases, which combine using coefficients conditioned
on the output of object segmentation , a design that facilitates separation.
Extensive experiments on the MUSIC dataset show that our proposed approach
outperforms state-of-the-art methods on visually guided sound source separation
and sound denoising.
- Abstract（参考訳）: ビデオのオーディオチャネルで個々のオブジェクトの音をローカライズし、分離する方法を学ぶのは、難しい作業です。
現在の最先端手法は、Mix-and-Separate frameworkとして知られる人工混合分光器からオーディオマスクを予測する。
そこで本研究では,オブジェクトラベルのみをラベル付けしたビデオから,個々のオブジェクトの見た目と音声の両方を学習する。
最近の視覚誘導型オーディオソース分離フレームワークとは異なり、私たちのアーキテクチャはエンドツーエンドで学習することができ、追加の監督やバウンディングボックスの提案は不要です。
具体的には,音声分離の文脈において,弱教師付き物体分割を導入する。
また,分離を容易にする設計であるオブジェクトセグメンテーションの出力に条件付き係数を併用した,一連の学習マスクベースを用いた分光グラムマスク予測を定式化した。
音楽データセットに関する広範囲な実験により,提案手法は視覚誘導音源分離と音の発声における最先端手法よりも優れていることが示された。
関連論文リスト
- BAVS: Bootstrapping Audio-Visual Segmentation by Integrating Foundation
Knowledge [43.92428145744478]
音声・視覚のセグメンテーションを行う2段階のブートストラップフレームワークを提案する。
第1段階では,視覚データから潜在的聴覚オブジェクトを局所化するためにセグメンテーションモデルを用いる。
第2段階では、音響-視覚的セマンティック統合戦略(AVIS)を開発し、音響-音響オブジェクトをローカライズする。
論文 参考訳（メタデータ） (2023-08-20T06:48:08Z) - Audio-Visual Segmentation by Exploring Cross-Modal Mutual Semantics [26.473529162341837]
本稿では,データセットバイアスを克服するために,音声-視覚的インスタンス認識セグメンテーション手法を提案する。
提案手法は,まずオブジェクト分割ネットワークによって映像中の潜在的音像を位置決めし,その音像候補と所定の音声を関連付ける。
AVSベンチマークによる実験結果から,本手法は健全な物体に偏ることなく効果的に音響オブジェクトを分割できることが示されている。
論文 参考訳（メタデータ） (2023-07-31T12:56:30Z) - Self-Supervised Visual Acoustic Matching [63.492168778869726]
音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。
そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。
提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
論文 参考訳（メタデータ） (2023-07-27T17:59:59Z) - CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled
Videos [44.14061539284888]
そこで本稿では,未ラベルデータのみを用いて,テキスト検索による普遍的音源分離手法を提案する。
提案したCLIPSepモデルは、まずコントラッシブ言語画像事前学習(CLIP)モデルを用いて、入力クエリをクエリベクトルにエンコードする。
モデルはラベルのないビデオから抽出した画像とオーディオのペアに基づいてトレーニングされるが、テスト時にはゼロショット設定でテキスト入力でモデルをクエリすることができる。
論文 参考訳（メタデータ） (2022-12-14T07:21:45Z) - Class-aware Sounding Objects Localization via Audiovisual Correspondence [51.39872698365446]
複雑な視覚的シナリオにおける音像の局所化と認識を行うための2段階の学習フレームワークを提案する。
我々は、カクテルパーティーのシナリオでクラス認識オブジェクトのローカライズマップを生成し、サイレントエリアの抑制にオーディオ視覚対応を使用する。
実写ビデオと合成ビデオの両方の実験では、オブジェクトのローカライズと認識だけでなく、サイレントビデオのフィルタリングにも優れていることが示されている。
論文 参考訳（メタデータ） (2021-12-22T09:34:33Z) - Visual Scene Graphs for Audio Source Separation [65.47212419514761]
視覚的に誘導された音源分離のための最先端のアプローチは、典型的には楽器のような特徴的な音を持つ音源を仮定する。
本稿では,シーンの視覚構造をグラフとして埋め込んだ新しい深層学習モデルであるAudio Visual Scene Graph Segmenter (AVSGS)を提案する。
我々のパイプラインは、人工混合音から視覚グラフを用いて音源を分離する自己教師タスクにより、エンドツーエンドで訓練される。
論文 参考訳（メタデータ） (2021-09-24T13:40:51Z) - Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of
On-Screen Sounds [33.4237979175049]
本稿では,新しい音声-視覚的分離フレームワークであるAudioScopeを紹介する。
実際の映像からスクリーン上の音源を分離するための監督なしでトレーニングすることができる。
オープンドメインYFCC100mビデオデータから抽出したビデオクリップのデータセットを用いて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2020-11-02T17:36:13Z) - Discriminative Sounding Objects Localization via Self-supervised
Audiovisual Matching [87.42246194790467]
自己教師付きクラス認識オブジェクトの定位を行うための2段階学習フレームワークを提案する。
我々は,無声オブジェクトをフィルタリングし,異なるクラスの音響オブジェクトの位置を指摘するのに,我々のモデルの方が優れていることを示す。
論文 参考訳（メタデータ） (2020-10-12T05:51:55Z) - Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。
本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
論文 参考訳（メタデータ） (2020-08-10T16:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。