論文の概要: Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training

• arxiv url: http://arxiv.org/abs/2203.00648v3
• Date: Sun, 11 Jun 2023 22:41:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 03:19:45.318070
• Title: Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training
• Title（参考訳）: 自己監督型プレトレーニングにおける個人領域因子の影響の測定
• Authors: Ramon Sanabria, Wei-Ning Hsu, Alexei Baevski, Michael Auli
• Abstract要約: 音素領域因子は事前学習において重要な役割を担っているが,文法的・統語的要因はそれほど重要ではない。 本研究は,音声認識のための自己教師付き事前学習における事前学習セットのドメイン特性をよりよく理解するための最初の研究である。
• 参考スコア（独自算出の注目度）: 60.825471653739555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human speech data comprises a rich set of domain factors such as accent, syntactic and semantic variety, or acoustic environment. Previous work explores the effect of domain mismatch in automatic speech recognition between pre-training and fine-tuning as a whole but does not dissect the contribution of individual factors. In this paper, we present a controlled study to better understand the effect of such factors on the performance of pre-trained representations on automatic speech recognition. To do so, we pre-train models either on modified natural speech or synthesized audio, with a single domain factor modified, and then measure performance after fine-tuning. Results show that phonetic domain factors play an important role during pre-training while grammatical and syntactic factors are far less important. To our knowledge, this is the first study to better understand the domain characteristics of pre-trained sets in self-supervised pre-training for speech.
• Abstract（参考訳）: 人間の音声データにはアクセント、構文、意味の多様性、音響環境といったドメイン要素が豊富に含まれている。 従来,事前学習と微調整の音声認識におけるドメインミスマッチの効果について検討してきたが,個々の要因の寄与を判別することはできなかった。 本稿では,事前学習された表現が自動音声認識に与える影響をよりよく理解するための制御された研究を提案する。 そこで本研究では,修正された自然言語や合成音声を1つのドメインファクタで事前学習し,微調整後の性能を計測する。 その結果,音素領域因子は事前学習において重要な役割を担っていることが明らかとなった。 本研究は,音声の自己教師付き事前学習において,事前学習集合のドメイン特性をよりよく理解する最初の研究である。

関連論文リスト

• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)
• Acoustic and linguistic representations for speech continuous emotion recognition in call center conversations [2.0653090022137697]
  本稿では,AlloSat corpus へのトランスファー学習の一形態として,事前学習した音声表現の利用について検討する。 実験により,事前学習した特徴を用いて得られた性能の大きな向上を確認した。 驚いたことに、言語内容が満足度予測の主要な要因であることは明らかでした。
  論文  参考訳（メタデータ） (2023-10-06T10:22:51Z)
• An analysis on the effects of speaker embedding choice in non auto-regressive TTS [4.619541348328938]
  本稿では,非自己回帰的分解型マルチ話者音声合成アーキテクチャが,異なる話者埋め込みセットに存在する情報をどのように活用するかを理解するための最初の試みを紹介する。 使用済みの埋め込みと学習戦略にかかわらず、ネットワークは様々な話者識別を等しく扱うことができることを示す。
  論文  参考訳（メタデータ） (2023-07-19T10:57:54Z)
• Pre-Finetuning for Few-Shot Emotional Speech Recognition [20.894029832911617]
  我々は話者適応を数発の学習問題と見なしている。 そこで本研究では,知識を数発の下流分類対象に抽出する難解な課題に対する事前学習音声モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-24T22:38:54Z)
• SPADE: Self-supervised Pretraining for Acoustic DisEntanglement [2.294014185517203]
  室内音響を音声から切り離す自己教師型手法を提案する。 提案手法は,ラベル付きトレーニングデータが少ない場合に,ベースライン上での性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-02-03T01:36:38Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality [123.97136358092585]
  我々は、ベンチマークデータセット上で人間レベルの品質を実現するNaturalSpeechと呼ばれるTSシステムを開発した。 具体的には、波形生成のための変分オートエンコーダ(VAE)を利用する。 LJSpeechデータセットを用いた実験により,提案したNaturalSpeechは文レベルでの人間の記録に対して-0.01CMOSを達成した。
  論文  参考訳（メタデータ） (2022-05-09T16:57:35Z)
• Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation [60.26511271597065]
  音声歪みは、視覚的に訓練された音声処理モデルの性能を劣化させる長年の問題である。 音声処理モデルのロバスト性を向上して、音声歪みに遭遇する際の良好な性能を得るには、時間を要する。
  論文  参考訳（メタデータ） (2022-03-30T07:25:52Z)
• Deep Learning For Prominence Detection In Children's Read Speech [13.041607703862724]
  本稿では, 幼児の口臭度評価に際し, 単語検出に係わる特徴を学習するためのセグメント音声波形を用いたシステムを提案する。 単語レベルの特徴とシーケンス情報の両方を取り入れた選択されたCRNN(畳み込みリカレントニューラルネットワーク)フレームワークは、知覚的に動機付けられたSincNetフィルタの恩恵を受けている。
  論文  参考訳（メタデータ） (2021-10-27T08:51:42Z)
• A study on the efficacy of model pre-training in developing neural text-to-speech system [55.947807261757056]
  本研究の目的は,モデル事前学習がTSシステム性能に肯定的に寄与する理由と方法を明らかにすることである。 トレーニング前のデータを元のサイズの1/8に減らすと,TSシステムは同等の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。