論文の概要: What Can an Accent Identifier Learn? Probing Phonetic and Prosodic Information in a Wav2vec2-based Accent Identification Model

• arxiv url: http://arxiv.org/abs/2306.06524v1
• Date: Sat, 10 Jun 2023 21:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 18:23:48.062644
• Title: What Can an Accent Identifier Learn? Probing Phonetic and Prosodic Information in a Wav2vec2-based Accent Identification Model
• Title（参考訳）: アクセント識別器は何を学べるか? Wav2vec2に基づくアクセント同定モデルにおける音声情報と韻律情報の探索
• Authors: Mu Yang, Ram C. M. C. Shekar, Okim Kang, John H. L. Hansen
• Abstract要約: 本研究は,自己監督学習モデルに符号化された音素・韻律情報の変化の理解と定量化に焦点を当てた。 その結果、AIDファインチューニングタスクは上位2層を操り、よりリッチな音素と韻律表現を学ぶことができた。
• 参考スコア（独自算出の注目度）: 30.88357561791563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study is focused on understanding and quantifying the change in phoneme and prosody information encoded in the Self-Supervised Learning (SSL) model, brought by an accent identification (AID) fine-tuning task. This problem is addressed based on model probing. Specifically, we conduct a systematic layer-wise analysis of the representations of the Transformer layers on a phoneme correlation task, and a novel word-level prosody prediction task. We compare the probing performance of the pre-trained and fine-tuned SSL models. Results show that the AID fine-tuning task steers the top 2 layers to learn richer phoneme and prosody representation. These changes share some similarities with the effects of fine-tuning with an Automatic Speech Recognition task. In addition, we observe strong accent-specific phoneme representations in layer 9. To sum up, this study provides insights into the understanding of SSL features and their interactions with fine-tuning tasks.
• Abstract（参考訳）: 本研究は,アクセント識別(AID)微調整タスクによる自己監督学習(SSL)モデルで符号化された音素と韻律情報の変化の理解と定量化に焦点を当てた。 この問題はモデル探索に基づいて解決される。 具体的には,音素相関タスクにおいてトランスフォーマレイヤの表現を体系的に階層的に分析し,新しい単語レベルの韻律予測タスクを行う。 トレーニング済みおよび微調整済みSSLモデルの探索性能を比較した。 その結果、AIDファインチューニングタスクは上位2層を操り、よりリッチな音素と韻律表現を学ぶことができた。 これらの変化は、音声認識タスクによる微調整の効果と類似している。 また,第9層ではアクセント特異的な音素表現が強い。 要約すると、この研究はSSL機能の理解と微調整タスクとのインタラクションに関する洞察を提供する。

関連論文リスト

• Fill in the Gap! Combining Self-supervised Representation Learning with Neural Audio Synthesis for Speech Inpainting [14.402357651227003]
  本稿では,音声信号の欠落部分を周囲の文脈から再構成する音声認識用SSLモデルについて検討する。 その目的のために、SSLエンコーダ、すなわち HuBERT とニューラルヴォコーダ、すなわち HiFiGAN を組み合わせてデコーダの役割を演じる。
  論文  参考訳（メタデータ） (2024-05-30T14:41:39Z)
• Probing the Information Encoded in Neural-based Acoustic Models of Automatic Speech Recognition Systems [7.207019635697126]
  本稿では,自動音声認識音響モデル(AM)における情報の位置と位置を決定することを目的とする。 話者検証,音響環境分類,性別分類,テンポ歪検出システム,音声感情・感情識別について実験を行った。 分析の結果、ニューラルベースAMは驚くほど音素認識と無関係に思える異種情報を持っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T18:43:53Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations [30.293081541301746]
  wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。 この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。 我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
  論文  参考訳（メタデータ） (2023-05-14T08:26:24Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Automatic Pronunciation Assessment using Self-Supervised Speech Representation Learning [13.391307807956673]
  自己教師付き学習(SSL)モデルに基づく新しい発音評価手法を提案する。 提案手法は,英単語学習者の英語発音に適応するために,事前学習したSSLモデルを接続型時間分類で微調整する。 提案手法は,韓国のESL学習者とSpeechocean762のデータセットに基づいて,ピアソン相関係数を用いてベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-08T06:13:55Z)
• Learning Decoupling Features Through Orthogonality Regularization [55.79910376189138]
  音声認識におけるキースポッティング(KWS)と話者検証(SV)は2つの重要なタスクである。 我々は,同じネットワーク構造を持つ2分岐のディープネットワーク(KWSブランチとSVブランチ)を開発する。 KWS と SV のパフォーマンスを同時に向上させるために,新しいデカップリング特徴学習法を提案する。
  論文  参考訳（メタデータ） (2022-03-31T03:18:13Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。