論文の概要: A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement

• arxiv url: http://arxiv.org/abs/2206.11000v1
• Date: Wed, 22 Jun 2022 12:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 16:10:22.821593
• Title: A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement
• Title（参考訳）: 音声強調のための音声認識手法の体系的比較
• Authors: Or Tal, Moshe Mandel, Felix Kreuk, Yossi Adi
• Abstract要約: 音声強調モデルにおける音声情報の統合方法の比較を行った。 異なる音声コンテンツモデルと様々な特徴注入技術が性能向上に与える影響を観察する。
• 参考スコア（独自算出の注目度）: 20.329872147913584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech enhancement has seen great improvement in recent years using end-to-end neural networks. However, most models are agnostic to the spoken phonetic content. Recently, several studies suggested phonetic-aware speech enhancement, mostly using perceptual supervision. Yet, injecting phonetic features during model optimization can take additional forms (e.g., model conditioning). In this paper, we conduct a systematic comparison between different methods of incorporating phonetic information in a speech enhancement model. By conducting a series of controlled experiments, we observe the influence of different phonetic content models as well as various feature-injection techniques on enhancement performance, considering both causal and non-causal models. Specifically, we evaluate three settings for injecting phonetic information, namely: i) feature conditioning; ii) perceptual supervision; and iii) regularization. Phonetic features are obtained using an intermediate layer of either a supervised pre-trained Automatic Speech Recognition (ASR) model or by using a pre-trained Self-Supervised Learning (SSL) model. We further observe the effect of choosing different embedding layers on performance, considering both manual and learned configurations. Results suggest that using a SSL model as phonetic features outperforms the ASR one in most cases. Interestingly, the conditioning setting performs best among the evaluated configurations.
• Abstract（参考訳）: 音声強調は近年、エンドツーエンドのニューラルネットワークを使用して大幅に改善されている。 しかし、ほとんどのモデルは音声内容に無関係である。 近年,音素認識音声強調法の研究が盛んに行われている。 しかし、モデル最適化中に音声的特徴を注入するには追加の形式(例えば、モデル条件付け)が必要となる。 本稿では,音声強調モデルにおいて,音声情報を取り込む異なる手法を体系的に比較する。 本研究では,様々な音声コンテンツモデルと様々な特徴インジェクション手法が,因果モデルと非因果モデルの両方を考慮して,拡張性能に与える影響を観察した。 具体的には,音声情報を注入するための3つの設定,すなわち: i) 特徴条件付け 二 知覚的監督、及び iii) 規則化。 教師付き事前学習型音声認識(ASR)モデルの中間層,あるいは事前学習型自己監督型学習(SSL)モデルを用いて音声特徴を求める。 さらに、手作業と学習した構成の両方を考慮して、異なる埋め込み層がパフォーマンスに与える影響を観察する。 その結果、SSLモデルを音声機能として使用する場合、ほとんどの場合、ASRよりも優れていることが示唆された。 興味深いことに、条件設定は評価された構成の中で最高に機能する。

関連論文リスト

• Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
  テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。 提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。 語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-11-04T06:07:53Z)
• Developing Acoustic Models for Automatic Speech Recognition in Swedish [6.5458610824731664]
  本稿では,トレーニング可能なシステムを用いた自動連続音声認識について述べる。 この研究の目的はスウェーデン語話者のための音響モデルを構築することである。
  論文  参考訳（メタデータ） (2024-04-25T12:03:14Z)
• Ensemble knowledge distillation of self-supervised speech models [84.69577440755457]
  蒸留自己監督モデルは近年、競争性能と効率性を示している。 We performed Ensemble Knowledge Distillation (EKD) on various self-supervised speech model, HuBERT, RobustHuBERT, WavLM。 提案手法は,4つの下流音声処理タスクにおける蒸留モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-02-24T17:15:39Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• An Investigation of End-to-End Models for Robust Speech Recognition [20.998349142078805]
  本稿では,頑健な音声認識のための音声強調に基づく手法と3つの異なるモデルに基づく適応手法の比較を行う。 対向学習は特定の雑音の種類において最高の性能の手法であるが、クリーン音声WERを劣化させるコストがかかる。 他の比較的定常的なノイズタイプでは、新しい音声強調技術がモデルに基づく適応技術をすべて上回っていた。
  論文  参考訳（メタデータ） (2021-02-11T19:47:13Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Knowing What to Listen to: Early Attention for Deep Speech Representation Learning [25.71206255965502]
  本稿では,音声信号のためのファイングラファレンス・アーリーアテンション(FEFA)を提案する。 このモデルは、周波数ビンほど小さな情報アイテムに焦点を合わせることができる。 話者認識と音声感情認識の2つの一般的な課題について,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-09-03T17:40:27Z)
• Phoneme Boundary Detection using Learnable Segmental Features [31.203969460341817]
  音素境界検出は様々な音声処理アプリケーションにおいて重要な第一歩となる。 本稿では,音素境界検出タスクのセグメント表現を学習するために,パラメータ化された構造的損失関数と結合したニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-11T14:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。