論文の概要: Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
- arxiv url: http://arxiv.org/abs/2411.03085v1
- Date: Tue, 05 Nov 2024 13:30:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:58:05.986481
- Title: Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
- Title（参考訳）: ドメインミスマッチ最小化のための事前訓練フロントエンドによる音声分離
- Authors: Wupeng Wang, Zexu Pan, Xinke Li, Shuai Wang, Haizhou Li,
- Abstract要約: 音声分離は、個々の音声信号を音声混合物から分離しようとする。
ほとんどの分離モデルは、現実のパーティーシナリオでターゲット参照が利用できないため、合成データに基づいて訓練されている。
対象参照音声を必要とせずに混合データに露呈する自己教師付きドメイン不変プレトレーニング(DIP)を提案する。
- 参考スコア（独自算出の注目度）: 42.63061599979695
- License:
- Abstract: Speech separation seeks to separate individual speech signals from a speech mixture. Typically, most separation models are trained on synthetic data due to the unavailability of target reference in real-world cocktail party scenarios. As a result, there exists a domain gap between real and synthetic data when deploying speech separation models in real-world applications. In this paper, we propose a self-supervised domain-invariant pretrained (DIP) frontend that is exposed to mixture data without the need for target reference speech. The DIP frontend utilizes a Siamese network with two innovative pretext tasks, mixture predictive coding (MPC) and mixture invariant coding (MIC), to capture shared contextual cues between real and synthetic unlabeled mixtures. Subsequently, we freeze the DIP frontend as a feature extractor when training the downstream speech separation models on synthetic data. By pretraining the DIP frontend with the contextual cues, we expect that the speech separation skills learned from synthetic data can be effectively transferred to real data. To benefit from the DIP frontend, we introduce a novel separation pipeline to align the feature resolution of the separation models. We evaluate the speech separation quality on standard benchmarks and real-world datasets. The results confirm the superiority of our DIP frontend over existing speech separation models. This study underscores the potential of large-scale pretraining to enhance the quality and intelligibility of speech separation in real-world applications.
- Abstract（参考訳）: 音声分離は、個々の音声信号を音声混合物から分離しようとする。
通常、ほとんどの分離モデルは、現実のカクテルパーティーのシナリオでターゲット参照が利用できないため、合成データに基づいて訓練される。
その結果、実世界のアプリケーションに音声分離モデルを展開する際には、実データと合成データの間にドメインギャップが存在する。
本稿では、ターゲット参照音声を必要とせずに混合データに露呈する自己教師付きドメイン不変事前訓練(DIP)フロントエンドを提案する。
DIPフロントエンドは、2つの革新的なプリテキストタスクである混合予測符号化(MPC)と混合不変符号化(MIC)を用いて、実と合成の未ラベルの混合物間の共有コンテキストキューをキャプチャする。
その後、合成データに基づいて下流音声分離モデルを訓練する際、DIPフロントエンドを特徴抽出器として凍結する。
DIPフロントエンドを文脈的手がかりで事前学習することにより、合成データから得られた音声分離スキルを実データに効果的に移行できると期待する。
DIPフロントエンドの恩恵を受けるために、分離モデルの特徴分解能を整合させる新しい分離パイプラインを導入する。
我々は,標準ベンチマークと実世界のデータセットを用いて,音声分離の品質を評価する。
その結果、既存の音声分離モデルよりもDIPフロントエンドの方が優れていることが確認された。
本研究は,実世界のアプリケーションにおける音声分離の質と信頼性を高めるために,大規模事前学習の可能性を明らかにするものである。
関連論文リスト
- Universal Sound Separation with Self-Supervised Audio Masked Autoencoder [35.560261097213846]
本稿では,音声マスク付きオートエンコーダ(A-MAE)を汎用的な音声分離システムに統合する自己教師付き事前学習モデルを提案する。
提案手法は,最先端のResUNetベースUSSモデルの分離性能の向上に成功している。
論文 参考訳（メタデータ） (2024-07-16T14:11:44Z) - Online speaker diarization of meetings guided by speech separation [0.0]
重複した音声は、話者ダイアリゼーションシステムに問題があることで知られている。
長時間録音のオンライン話者ダイアリゼーションに適した音声分離誘導ダイアリゼーション方式を提案する。
論文 参考訳（メタデータ） (2024-01-30T09:09:22Z) - Multi-Dimensional and Multi-Scale Modeling for Speech Separation
Optimized by Discriminative Learning [9.84949849886926]
音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer)
新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
論文 参考訳（メタデータ） (2023-03-07T08:53:20Z) - Discretization and Re-synthesis: an alternative method to solve the
Cocktail Party Problem [65.25725367771075]
この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。
具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。
離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
論文 参考訳（メタデータ） (2021-12-17T08:35:40Z) - Directed Speech Separation for Automatic Speech Recognition of Long Form
Conversational Speech [10.291482850329892]
混合信号から直接抽出した話者埋め込みに基づいて訓練された話者条件付きセパレータを提案する。
また,会話データに対する単語誤り率 (WER) の大幅な改善を実現した。
論文 参考訳（メタデータ） (2021-12-10T23:07:48Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-18T08:52:31Z) - Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in
High-order Latent Domain [34.23260020137834]
本稿では,粗大な分離フレームワークに従うSRSSN(Stepwise-Refining Speech separation Network)を提案する。
まず1次潜在領域を学び、符号化空間を定義し、粗い位相で大まかな分離を行う。
その後、既存の潜伏領域の各基底関数に沿って新しい潜伏ドメインを学び、精製フェーズで高次潜伏ドメインを得る。
論文 参考訳（メタデータ） (2021-10-10T13:21:16Z) - Direct speech-to-speech translation with discrete units [64.19830539866072]
本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。
そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。
対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
論文 参考訳（メタデータ） (2021-07-12T17:40:43Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳（メタデータ） (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。