論文の概要: Visually Guided Sound Source Separation using Cascaded Opponent Filter Network

• arxiv url: http://arxiv.org/abs/2006.03028v2
• Date: Tue, 14 Jul 2020 15:38:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 12:43:18.395205
• Title: Visually Guided Sound Source Separation using Cascaded Opponent Filter Network
• Title（参考訳）: Cascaded Opponent Filter Network を用いた視覚誘導音源分離
• Authors: Lingyu Zhu, Esa Rahtu
• Abstract要約: カスケードされた応答フィルタ(COF)フレームワークは、ソース分離を洗練させる複数のステージから構成される。 COFのキー要素は、ソース間の残留成分を識別し、再配置する新しい反対フィルタモジュールである。 本研究の目的は,映像フレーム,光学フロー,ダイナミックイメージ,およびそれらの組み合わせに基づいて,様々な表現について検討することである。
• 参考スコア（独自算出の注目度）: 15.26733033527393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The objective of this paper is to recover the original component signals from a mixture audio with the aid of visual cues of the sound sources. Such task is usually referred as visually guided sound source separation. The proposed Cascaded Opponent Filter (COF) framework consists of multiple stages, which recursively refine the source separation. A key element in COF is a novel opponent filter module that identifies and relocates residual components between sources. The system is guided by the appearance and motion of the source, and, for this purpose, we study different representations based on video frames, optical flows, dynamic images, and their combinations. Finally, we propose a Sound Source Location Masking (SSLM) technique, which, together with COF, produces a pixel level mask of the source location. The entire system is trained end-to-end using a large set of unlabelled videos. We compare COF with recent baselines and obtain the state-of-the-art performance in three challenging datasets (MUSIC, A-MUSIC, and A-NATURAL). Project page: https://ly-zhu.github.io/cof-net.
• Abstract（参考訳）: 本研究の目的は、音源の視覚的な手がかりの助けを借りて、混合音声から元の成分信号を回収することである。 このようなタスクは通常、視覚的に誘導された音源分離と呼ばれる。 提案するCascaded Opponent Filter (COF) フレームワークは複数のステージで構成され,ソース分離を再帰的に洗練する。 COFのキー要素は、ソース間の残留成分を識別し、再配置する新しい反対フィルタモジュールである。 本システムでは,映像フレーム,光学フロー,動画像,それらの組み合わせに基づいて,映像の出現と動きをガイドし,様々な表現について検討する。 最後に, cofと共に音源位置の画素レベルマスクを生成する, 音源位置マスキング(sslm)手法を提案する。 システム全体は、大量のビデオを使ってエンドツーエンドに訓練されている。 我々はCOFを最近のベースラインと比較し、3つの挑戦的データセット(MUSIC、A-MUSIC、A-NATURAL)で最先端のパフォーマンスを得る。 プロジェクトページ: https://ly-zhu.github.io/cof-net

関連論文リスト

• Semantic Grouping Network for Audio Source Separation [41.54814517077309]
  本稿では,SGNと呼ばれる新しいセマンティックグルーピングネットワークを提案する。 MUSIC, FUSS, MUSDB18, VGG-Sound という,音楽のみと普遍的な音分離ベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-07-04T08:37:47Z)
• High-Quality Visually-Guided Sound Separation from Diverse Categories [56.92841782969847]
  DAVISは拡散に基づくオーディオ視覚分離フレームワークである。 分離された音をガウス雑音から直接合成し、オーディオミックスと視覚情報の両方に条件付けする。 AVEおよびMUSICデータセット上で,DAVISを既存の最先端の識別的音声視覚分離法と比較した。
  論文  参考訳（メタデータ） (2023-07-31T19:41:49Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation [36.38300120482868]
  本稿では,シーンの3次元構造と音源の動きを利用して,より優れた音源分離を行う深層学習フレームワークであるAudio Separator and Motion Predictor(ASMP)を紹介する。 ASMPは、ソース分離品質の明確な改善を実現し、2つの挑戦的なオーディオビジュアルデータセットの事前処理よりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-29T02:55:39Z)
• Separate What You Describe: Language-Queried Audio Source Separation [53.65665794338574]
  言語問合せ音声ソース分離(LASS)の課題について紹介する。 LASSは、ターゲットソースの自然言語クエリに基づいて、ターゲットソースをオーディオミックスから分離することを目的としている。 本稿では,音響情報と言語情報を協調処理するエンドツーエンドニューラルネットワークLASS-Netを提案する。
  論文  参考訳（メタデータ） (2022-03-28T23:47:57Z)
• Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos [101.83513408195692]
  マルチタスク学習手法を提案する。 提案手法は,12種類の精度予測法より優れ,音源定位における競合的な結果が得られる。
  論文  参考訳（メタデータ） (2021-11-05T14:35:08Z)
• Visual Scene Graphs for Audio Source Separation [65.47212419514761]
  視覚的に誘導された音源分離のための最先端のアプローチは、典型的には楽器のような特徴的な音を持つ音源を仮定する。 本稿では,シーンの視覚構造をグラフとして埋め込んだ新しい深層学習モデルであるAudio Visual Scene Graph Segmenter (AVSGS)を提案する。 我々のパイプラインは、人工混合音から視覚グラフを用いて音源を分離する自己教師タスクにより、エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2021-09-24T13:40:51Z)
• Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation [86.94578023985677]
  ゼロショットビデオオブジェクトセグメンテーションのための新しいマルチソースフュージョンネットワークを提案する。 提案手法は,最先端技術に対する魅力的な性能を実現する。
  論文  参考訳（メタデータ） (2021-08-11T07:37:44Z)
• Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations [16.447597767676655]
  入力ビデオシーケンスのソース位置をピンポイントすることを目的としている。 近年の研究では、ソースタイプの事前知識を用いて、オーディオと視覚の分離結果が顕著に示されている。 本研究では,出現と運動の手がかりを専門とする2段階アーキテクチャであるexeation and motion network (amnet)を提案する。
  論文  参考訳（メタデータ） (2021-04-17T10:09:15Z)
• Weakly-supervised Audio-visual Sound Source Detection and Separation [38.52168086518221]
  本稿では,個々の物体の見た目と音の双方をネットワークが学習する,音声と視覚の協調手法を提案する。 音分離の文脈で弱教師付きオブジェクトセグメンテーションを導入する。 私たちのアーキテクチャはエンドツーエンドで学ぶことができ、追加の監視やバウンディングボックスの提案は必要ありません。
  論文  参考訳（メタデータ） (2021-03-25T10:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。