論文の概要: Exploring Self-Attention Mechanisms for Speech Separation
- arxiv url: http://arxiv.org/abs/2202.02884v2
- Date: Sat, 27 May 2023 17:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 04:40:57.773944
- Title: Exploring Self-Attention Mechanisms for Speech Separation
- Title（参考訳）: 音声分離のための自己注意機構の探索
- Authors: Cem Subakan, Mirco Ravanelli, Samuele Cornell, Francois Grondin, Mirko
Bronzi
- Abstract要約: 本稿では,音声分離のための奥行き変換器について検討する。
SepFormerに関するこれまでの知見は、より難しいノイズとノイズの残響データセットの結果を提供することで拡張します。
最後に,音声分離において,Linformers,Lonformers,ReFormersなどの効率的な自己認識機構の利用を初めて検討する。
- 参考スコア（独自算出の注目度）: 11.210834842425955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers have enabled impressive improvements in deep learning. They
often outperform recurrent and convolutional models in many tasks while taking
advantage of parallel processing. Recently, we proposed the SepFormer, which
obtains state-of-the-art performance in speech separation with the WSJ0-2/3 Mix
datasets. This paper studies in-depth Transformers for speech separation. In
particular, we extend our previous findings on the SepFormer by providing
results on more challenging noisy and noisy-reverberant datasets, such as
LibriMix, WHAM!, and WHAMR!. Moreover, we extend our model to perform speech
enhancement and provide experimental evidence on denoising and dereverberation
tasks. Finally, we investigate, for the first time in speech separation, the
use of efficient self-attention mechanisms such as Linformers, Lonformers, and
ReFormers. We found that they reduce memory requirements significantly. For
example, we show that the Reformer-based attention outperforms the popular
Conv-TasNet model on the WSJ0-2Mix dataset while being faster at inference and
comparable in terms of memory consumption.
- Abstract（参考訳）: トランスフォーマーはディープラーニングの大幅な改善を可能にした。
並列処理を活用しながら、多くのタスクで再帰モデルや畳み込みモデルを上回ることが多い。
近年,WSJ0-2/3 Mixデータセットを用いた音声分離において,最先端性能を実現するSepFormerを提案する。
本稿では,音声分離のための奥行き変換器について検討する。
特に、SepFormerに関する以前の調査結果は、LibriMix、WHAM!、WHAMR!といった、より困難なノイズとノイズの残響データセットに関する結果を提供することで拡張します。
.
さらに,本モデルを拡張して音声強調を行い,復調作業に関する実験的証拠を提供する。
最後に,音声分離において,Linformers,Lonformers,ReFormersなどの効率的な自己認識機構の利用を初めて検討する。
メモリ要求を大幅に削減できることがわかった。
例えば,WSJ0-2Mixデータセット上で人気の高いConv-TasNetモデルよりも高速で,メモリ消費の点で同等であることを示す。
関連論文リスト
- TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation [19.126525226518975]
パラメータと計算コストを大幅に削減した音声分離モデルを提案する。
TIGERは事前の知識を活用して周波数帯域を分割し、周波数情報を圧縮する。
我々は、TIGERが、最先端(SOTA)モデルTF-GridNetを上回る性能を達成することを示す。
論文 参考訳（メタデータ） (2024-10-02T12:21:06Z) - Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。
MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。
我々のフレームワークは、残響器と残響器の性能を向上させることができる。
論文 参考訳（メタデータ） (2024-07-15T00:47:56Z) - Efficient Monaural Speech Enhancement using Spectrum Attention Fusion [15.8309037583936]
本稿では,自己意図の表現性を保ちながら,モデルの複雑さを著しく低減する音声強調モデルの改良について述べる。
音声変換器において,複数の自己認識層を置き換えるための畳み込みモジュールを構築し,より効率的にスペクトル特徴を融合させる。
提案モデルでは,SOTAモデルに対して同等あるいはより良い結果が得られるが,Voice Bank + DEMANDデータセット上では,パラメータが0.58Mよりもはるかに小さい。
論文 参考訳（メタデータ） (2023-08-04T11:39:29Z) - Multi-Dimensional and Multi-Scale Modeling for Speech Separation
Optimized by Discriminative Learning [9.84949849886926]
音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer)
新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
論文 参考訳（メタデータ） (2023-03-07T08:53:20Z) - Directed Speech Separation for Automatic Speech Recognition of Long Form
Conversational Speech [10.291482850329892]
混合信号から直接抽出した話者埋め込みに基づいて訓練された話者条件付きセパレータを提案する。
また,会話データに対する単語誤り率 (WER) の大幅な改善を実現した。
論文 参考訳（メタデータ） (2021-12-10T23:07:48Z) - Improving Noise Robustness of Contrastive Speech Representation Learning
with Speech Reconstruction [109.44933866397123]
実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。
雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。
ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
論文 参考訳（メタデータ） (2021-10-28T20:39:02Z) - Utilizing Self-supervised Representations for MOS Prediction [51.09985767946843]
既存の評価は通常、クリーンな参照または平行な地上真実データを必要とする。
一方、主観的テストは、追加のクリーンデータや並列データを必要としず、人間の知覚とよりよく相関する。
基礎的真理データを必要とせず,人間の知覚とよく相関する自動評価手法を開発した。
論文 参考訳（メタデータ） (2021-04-07T09:44:36Z) - End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。
特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。
提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
論文 参考訳（メタデータ） (2021-02-12T18:00:08Z) - Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual
Speech Enhancement [26.596930749375474]
本稿では,異なるVAEアーキテクチャを時間的に切り換えるために,マルコフの依存関係を持つ潜在逐次変数を導入する。
モデルのパラメータを推定し、音声信号を強化するために、対応する変動予測-最大化アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-02-08T11:45:02Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。
提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。
静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
論文 参考訳（メタデータ） (2020-06-23T09:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。