Fugu-MT 論文翻訳(概要): On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments

論文の概要: On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments

arxiv url: http://arxiv.org/abs/2310.06125v1
Date: Mon, 9 Oct 2023 20:02:11 GMT
ステータス: 処理完了
システム内更新日: 2023-10-11 23:34:24.710270
Title: On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments
Title（参考訳）: 雑音残響音環境におけるモノーラル音声分離のための時間領域適合モデルについて
Authors: William Ravenscroft and Stefan Goetze and Thomas Hain
Abstract要約: 時間領域コンバータ(TD-Conformers)は、局所的およびグローバル的コンテキストを逐次処理するDPアプローチの類似体である。最高のTD-Conformerは、WHAMRとWSJ0-2Mixベンチマークで14.6dBと21.2dB SISDRの改善を達成した。
参考スコア（独自算出の注目度）: 20.592466025674643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Speech separation remains an important topic for multi-speaker technology researchers. Convolution augmented transformers (conformers) have performed well for many speech processing tasks but have been under-researched for speech separation. Most recent state-of-the-art (SOTA) separation models have been time-domain audio separation networks (TasNets). A number of successful models have made use of dual-path (DP) networks which sequentially process local and global information. Time domain conformers (TD-Conformers) are an analogue of the DP approach in that they also process local and global context sequentially but have a different time complexity function. It is shown that for realistic shorter signal lengths, conformers are more efficient when controlling for feature dimension. Subsampling layers are proposed to further improve computational efficiency. The best TD-Conformer achieves 14.6 dB and 21.2 dB SISDR improvement on the WHAMR and WSJ0-2Mix benchmarks, respectively.
Abstract（参考訳）: 音声分離は、マルチスピーカー技術研究者にとって重要なトピックである。畳み込み変換器(コンフォーマー)は多くの音声処理タスクでうまく機能しているが、音声分離には未検討である。最近のSOTA分離モデルは、時間領域オーディオ分離ネットワーク(TasNets)である。多くの成功したモデルでは、ローカルおよびグローバル情報を逐次処理するデュアルパス(DP)ネットワークを使用している。時間領域コンバータ(TD-Conformers)は、局所的およびグローバルなコンテキストも逐次処理するが、時間複雑性関数が異なるDPアプローチの類似体である。現実的に短い信号長では、コンフォーメータは特徴次元の制御においてより効率的であることが示されている。さらに計算効率を向上させるためにサブサンプリング層を提案する。最高のTD-Conformerは、それぞれWHAMRとWSJ0-2Mixベンチマークで14.6dBと21.2dB SISDRを改善する。

関連論文リスト

DPATD: Dual-Phase Audio Transformer for Denoising [25.097894984130733]
本稿では,denoising (DPATD) のための2相音響変換器を提案する。メモリに圧縮された説明可能な注意は効率的で、頻繁に使用される自己注意モジュールよりも早く収束する。
論文参考訳（メタデータ） (2023-10-30T14:44:59Z)
RTFS-Net: Recurrent Time-Frequency Modelling for Efficient Audio-Visual Speech Separation [18.93255531121519]
本稿では,時間周波数領域の音声-視覚音声分離手法を提案する。 RTFS-Netはそのアルゴリズムをショートタイムフーリエ変換によって得られる複雑な時間周波数ビンに適用する。これは、時間周波数領域の音声・視覚的音声分離法として初めて、現代の時間領域の全てを上回ります。
論文参考訳（メタデータ） (2023-09-29T12:38:00Z)
High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
論文参考訳（メタデータ） (2023-09-27T09:27:03Z)
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning [9.84949849886926]
音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer) 新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
論文参考訳（メタデータ） (2023-03-07T08:53:20Z)
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation [26.94528951545861]
音声分離モデルは、多くの音声処理アプリケーションにおいて、個々の話者を分離するために使用される。ディープラーニングモデルは、多くの音声分離ベンチマークにおける最先端(SOTA)結果につながることが示されている。時間畳み込みネットワーク(TCN)として知られるそのようなモデルの1つは、音声分離タスクにおいて有望な結果を示している。近年,TNの最適なRFは,音声信号の残響特性によって異なることが明らかにされている。
論文参考訳（メタデータ） (2022-10-27T10:29:19Z)
End-To-End Audiovisual Feature Fusion for Active Speaker Detection [7.631698269792165]
本研究は,VGG-Mによる画像から抽出した特徴と,音声波形から抽出したMel周波数Cepstrum係数とを融合した新しい2ストリームエンドツーエンドフレームワークを提案する。我々の最高の性能モデルは88.929%の精度を達成した。
論文参考訳（メタデータ） (2022-07-27T10:25:59Z)
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
論文参考訳（メタデータ） (2022-03-19T08:47:18Z)
TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
論文参考訳（メタデータ） (2022-03-17T05:49:35Z)
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization [73.62550438861942]
本稿では、指向性自動音声認識(D-ASR)と呼ばれる、エンドツーエンドのニューラルネットワーク方式で遠距離場マルチスピーカデータを処理するための新しいパラダイムを提案する。 D-ASRでは、マイクロホンアレイに対するソースの方位角を潜時変数として定義する。
論文参考訳（メタデータ） (2020-10-30T20:26:28Z)
Speaker Representation Learning using Global Context Guided Channel and Time-Frequency Transformations [67.18006078950337]
グローバルな文脈情報を用いて、重要なチャネルを強化し、有意義な時間周波数位置を再検討する。提案されたモジュールは、人気のあるResNetベースのモデルとともに、VoxCeleb1データセットで評価される。
論文参考訳（メタデータ） (2020-09-02T01:07:29Z)
Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。主な課題は、複雑な音響環境とリアルタイム処理の要件である。複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。