論文の概要: Universal Sound Separation with Self-Supervised Audio Masked Autoencoder

• arxiv url: http://arxiv.org/abs/2407.11745v1
• Date: Tue, 16 Jul 2024 14:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:42:40.509097
• Title: Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
• Title（参考訳）: 自己監督型音響マスクオートエンコーダを用いたユニバーサル音源分離
• Authors: Junqi Zhao, Xubo Liu, Jinzheng Zhao, Yi Yuan, Qiuqiang Kong, Mark D. Plumbley, Wenwu Wang,
• Abstract要約: 本稿では,音声マスク付きオートエンコーダ(A-MAE)を汎用的な音声分離システムに統合する自己教師付き事前学習モデルを提案する。 提案手法は,最先端のResUNetベースUSSモデルの分離性能の向上に成功している。
• 参考スコア（独自算出の注目度）: 35.560261097213846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal sound separation (USS) is a task of separating mixtures of arbitrary sound sources. Typically, universal separation models are trained from scratch in a supervised manner, using labeled data. Self-supervised learning (SSL) is an emerging deep learning approach that leverages unlabeled data to obtain task-agnostic representations, which can benefit many downstream tasks. In this paper, we propose integrating a self-supervised pre-trained model, namely the audio masked autoencoder (A-MAE), into a universal sound separation system to enhance its separation performance. We employ two strategies to utilize SSL embeddings: freezing or updating the parameters of A-MAE during fine-tuning. The SSL embeddings are concatenated with the short-time Fourier transform (STFT) to serve as input features for the separation model. We evaluate our methods on the AudioSet dataset, and the experimental results indicate that the proposed methods successfully enhance the separation performance of a state-of-the-art ResUNet-based USS model.
• Abstract（参考訳）: ユニバーサルサウンド分離(Universal Sound separation, USS)は、任意の音源の混合物を分離するタスクである。 通常、普遍的な分離モデルは、ラベル付きデータを使用して、監督された方法でスクラッチから訓練される。 自己教師付き学習(SSL)は、ラベルのないデータを活用してタスクに依存しない表現を得る、新たなディープラーニングアプローチである。 本稿では,音声マスク付きオートエンコーダ(A-MAE)の自己教師付き事前学習モデルについて,その分離性能を高めるため,普遍的な音源分離システムに統合することを提案する。 A-MAEのパラメータを微調整中に凍結または更新するSSL埋め込みを利用するための2つの戦略を採用している。 SSL埋め込みは、短時間フーリエ変換(STFT)と結合され、分離モデルの入力機能として機能する。 提案手法をAudioSetデータセット上で評価した結果,提案手法は最先端のResUNetベースUSSモデルの分離性能を向上させることができた。

関連論文リスト

• Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding [14.468870364990291]
  本稿では,大規模な分散異種クライアントから中間機能表現を学習可能な新しいF-SSLフレームワークであるFASSLを提案する。 本研究は,音声-検索タスクにおける集中型音声-SSLアプローチと同等に音声F-SSLアプローチが動作することを示した。
  論文  参考訳（メタデータ） (2024-02-05T10:57:48Z)
• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining [52.191658157204856]
  コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。 提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。 実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-07T11:08:31Z)
• Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning [9.84949849886926]
  音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer) 新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
  論文  参考訳（メタデータ） (2023-03-07T08:53:20Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data [26.058278155958668]
  本稿では,大規模だがラベルの弱いデータセットであるAudioSetから,ユニバーサルオーディオソースセパレータをトレーニングするための3成分パイプラインを提案する。 提案手法は,複数の音源の音源分離に単一モデルを用い,弱いラベル付きデータにのみ依存する。 提案したオーディオセパレータはゼロショット設定で使用することができ、トレーニングで見たことのない種類のオーディオソースを分離することを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-15T05:13:43Z)
• End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings [66.50782702086575]
  本論文では,単一チャンネルの音声記録から会議ダイアリゼーションを行う,エンドツーエンドのディープネットワークモデルを提案する。 提案システムは,可変数の置換不変なクロスエントロピーに基づく損失関数を用いて,未知数の話者とのミーティングを処理するように設計されている。
  論文  参考訳（メタデータ） (2021-05-05T14:55:29Z)
• Audio-Visual Decision Fusion for WFST-based and seq2seq Models [3.2771898634434997]
  雑音下では、音声認識システムは高い単語誤り率(WER)に悩まされる 提案手法は,推測時における音声と視覚のモダリティから情報を融合する新しい手法である。 提案手法は音響のみのWERよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-01-29T13:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。