論文の概要: A Systematic Comparison of Phonetic Aware Techniques for Speech
Enhancement
- arxiv url: http://arxiv.org/abs/2206.11000v1
- Date: Wed, 22 Jun 2022 12:00:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-23 16:10:22.821593
- Title: A Systematic Comparison of Phonetic Aware Techniques for Speech
Enhancement
- Title(参考訳): 音声強調のための音声認識手法の体系的比較
- Authors: Or Tal, Moshe Mandel, Felix Kreuk, Yossi Adi
- Abstract要約: 音声強調モデルにおける音声情報の統合方法の比較を行った。
異なる音声コンテンツモデルと様々な特徴注入技術が性能向上に与える影響を観察する。
- 参考スコア(独自算出の注目度): 20.329872147913584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech enhancement has seen great improvement in recent years using
end-to-end neural networks. However, most models are agnostic to the spoken
phonetic content. Recently, several studies suggested phonetic-aware speech
enhancement, mostly using perceptual supervision. Yet, injecting phonetic
features during model optimization can take additional forms (e.g., model
conditioning). In this paper, we conduct a systematic comparison between
different methods of incorporating phonetic information in a speech enhancement
model. By conducting a series of controlled experiments, we observe the
influence of different phonetic content models as well as various
feature-injection techniques on enhancement performance, considering both
causal and non-causal models. Specifically, we evaluate three settings for
injecting phonetic information, namely: i) feature conditioning; ii) perceptual
supervision; and iii) regularization. Phonetic features are obtained using an
intermediate layer of either a supervised pre-trained Automatic Speech
Recognition (ASR) model or by using a pre-trained Self-Supervised Learning
(SSL) model. We further observe the effect of choosing different embedding
layers on performance, considering both manual and learned configurations.
Results suggest that using a SSL model as phonetic features outperforms the ASR
one in most cases. Interestingly, the conditioning setting performs best among
the evaluated configurations.
- Abstract(参考訳): 音声強調は近年、エンドツーエンドのニューラルネットワークを使用して大幅に改善されている。
しかし、ほとんどのモデルは音声内容に無関係である。
近年,音素認識音声強調法の研究が盛んに行われている。
しかし、モデル最適化中に音声的特徴を注入するには追加の形式(例えば、モデル条件付け)が必要となる。
本稿では,音声強調モデルにおいて,音声情報を取り込む異なる手法を体系的に比較する。
本研究では,様々な音声コンテンツモデルと様々な特徴インジェクション手法が,因果モデルと非因果モデルの両方を考慮して,拡張性能に与える影響を観察した。
具体的には,音声情報を注入するための3つの設定,すなわち:
i) 特徴条件付け
二 知覚的監督、及び
iii) 規則化。
教師付き事前学習型音声認識(ASR)モデルの中間層,あるいは事前学習型自己監督型学習(SSL)モデルを用いて音声特徴を求める。
さらに、手作業と学習した構成の両方を考慮して、異なる埋め込み層がパフォーマンスに与える影響を観察する。
その結果、SSLモデルを音声機能として使用する場合、ほとんどの場合、ASRよりも優れていることが示唆された。
興味深いことに、条件設定は評価された構成の中で最高に機能する。
関連論文リスト
- Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
蒸留自己監督モデルは近年、競争性能と効率性を示している。
We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。
提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-02-24T17:15:39Z) - Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。
教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。
特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
論文 参考訳(メタデータ) (2022-11-06T04:50:37Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳(メタデータ) (2022-05-27T22:04:02Z) - Self-Supervised Learning for speech recognition with Intermediate layer
supervision [52.93758711230248]
自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。
ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。
LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-16T10:45:05Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z) - An Investigation of End-to-End Models for Robust Speech Recognition [20.998349142078805]
本稿では,頑健な音声認識のための音声強調に基づく手法と3つの異なるモデルに基づく適応手法の比較を行う。
対向学習は特定の雑音の種類において最高の性能の手法であるが、クリーン音声WERを劣化させるコストがかかる。
他の比較的定常的なノイズタイプでは、新しい音声強調技術がモデルに基づく適応技術をすべて上回っていた。
論文 参考訳(メタデータ) (2021-02-11T19:47:13Z) - SPLAT: Speech-Language Joint Pre-Training for Spoken Language
Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。
大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。
音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文 参考訳(メタデータ) (2020-10-05T19:29:49Z) - Knowing What to Listen to: Early Attention for Deep Speech
Representation Learning [25.71206255965502]
本稿では,音声信号のためのファイングラファレンス・アーリーアテンション(FEFA)を提案する。
このモデルは、周波数ビンほど小さな情報アイテムに焦点を合わせることができる。
話者認識と音声感情認識の2つの一般的な課題について,提案モデルの評価を行った。
論文 参考訳(メタデータ) (2020-09-03T17:40:27Z) - Phoneme Boundary Detection using Learnable Segmental Features [31.203969460341817]
音素境界検出は様々な音声処理アプリケーションにおいて重要な第一歩となる。
本稿では,音素境界検出タスクのセグメント表現を学習するために,パラメータ化された構造的損失関数と結合したニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-02-11T14:03:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。