論文の概要: Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations

• arxiv url: http://arxiv.org/abs/2305.08099v2
• Date: Thu, 18 May 2023 10:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 10:45:10.880835
• Title: Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations
• Title（参考訳）: 遠距離発話レベルの表現のための自己教師型ニューラルファクター解析
• Authors: Weiwei Lin, Chenhang He, Man-Wai Mak, Youzhi Tu
• Abstract要約: wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。 この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。 我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
• 参考スコア（独自算出の注目度）: 29.053689659575383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) speech models such as wav2vec and HuBERT have demonstrated state-of-the-art performance on automatic speech recognition (ASR) and proved to be extremely useful in low label-resource settings. However, the success of SSL models has yet to transfer to utterance-level tasks such as speaker, emotion, and language recognition, which still require supervised fine-tuning of the SSL models to obtain good performance. We argue that the problem is caused by the lack of disentangled representations and an utterance-level learning objective for these tasks. Inspired by how HuBERT uses clustering to discover hidden acoustic units, we formulate a factor analysis (FA) model that uses the discovered hidden acoustic units to align the SSL features. The underlying utterance-level representations are disentangled from the content of speech using probabilistic inference on the aligned features. Furthermore, the variational lower bound derived from the FA model provides an utterance-level objective, allowing error gradients to be backpropagated to the Transformer layers to learn highly discriminative acoustic units. When used in conjunction with HuBERT's masked prediction training, our models outperform the current best model, WavLM, on all utterance-level non-semantic tasks on the SUPERB benchmark with only 20% of labeled data.
• Abstract（参考訳）: wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識(ASR)における最先端の性能を示し、低ラベル・リソース設定において非常に有用であることが証明されている。 しかし、sslモデルの成功はまだ話者、感情、言語認識といった発話レベルのタスクに移行しておらず、優れたパフォーマンスを得るためにはsslモデルの教師付き微調整が必要である。 問題の原因は,異種表現の欠如と,これらの課題に対する発話レベルの学習目標にあると考える。 HuBERTがクラスタリングを使って隠れ音響ユニットを発見する方法に着想を得て、隠れ音響ユニットを用いてSSL機能を整列させる因子分析(FA)モデルを定式化した。 下位の発話レベル表現は、一致した特徴に対する確率的推論を用いて、音声の内容から切り離される。 さらに、faモデルから派生した変動下限は発話レベルの目標を提供し、エラー勾配をトランスフォーマ層にバックプロパゲーションし、高度に識別可能な音響単位を学ぶことができる。 HuBERTのマスク付き予測トレーニングと組み合わせて使用する場合、私たちのモデルは、ラベル付きデータの20%しか表示されないSUPERBベンチマークの発話レベル非意味タスクにおいて、現在の最高のモデルであるWavLMよりも優れています。

関連論文リスト

• A Closer Look at Wav2Vec2 Embeddings for On-Device Single-Channel Speech Enhancement [16.900731393703648]
  自己教師付き学習モデルは、特定の音声タスクに非常に効果的であることが判明した。 本稿では,単一チャンネル音声強調におけるSSL表現の利用について検討する。
  論文  参考訳（メタデータ） (2024-03-03T02:05:17Z)
• Pushing the Limits of Unsupervised Unit Discovery for SSL Speech Representation [12.506633315768832]
  HuBERTは、オフラインクラスタリングを利用して、音声特徴を個別単位に変換して、マスク付き言語モデリングプリテキストタスクの例である。 SSLターゲットを改善するための教師なし手法を提案する。 MonoBERTとPolyBERTの2つのモデルが提案されている。
  論文  参考訳（メタデータ） (2023-06-15T07:45:12Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition? [86.53044183309824]
  話者関連課題における自己教師型学習の成功につながる要因について検討する。 Voxceleb-1データセットにおける実験結果から,SVタスクに対するSSLの利点は,マスクによる予測損失,データスケール,モデルサイズの組み合わせによるものであることが示唆された。
  論文  参考訳（メタデータ） (2022-04-27T08:35:57Z)
• Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning [13.391307807956673]
  自己教師付き学習(SSL)モデルに基づく新しい発音評価手法を提案する。 提案手法は,英単語学習者の英語発音に適応するために,事前学習したSSLモデルを接続型時間分類で微調整する。 提案手法は,韓国のESL学習者とSpeechocean762のデータセットに基づいて,ピアソン相関係数を用いてベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-08T06:13:55Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。