論文の概要: Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis

• arxiv url: http://arxiv.org/abs/2505.21138v1
• Date: Tue, 27 May 2025 12:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.652004
• Title: Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
• Title（参考訳）: 中国語方言におけるLLMと自己監督学習モデルの活用 : 比較分析
• Authors: Tianyi Xu, Hongjie Chen, Wang Qing, Lv Hang, Jian Kang, Li Jie, Zhennan Lin, Yongxiang Li, Xie Lei,
• Abstract要約: 自己教師付き事前教師付きトレーニングと大規模言語モデル(LLM)を組み合わせることで、低リソースシナリオにおけるASRのパフォーマンスを効果的に向上させることができる。 我々は、ラベル付き方言とアクセント付き音声データの30,000時間でData2vec2モデルを事前訓練し、教師付きデータセット上で4万時間アライメントトレーニングを行う。
• 参考スコア（独自算出の注目度）: 4.774607166378613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale training corpora have significantly improved the performance of ASR models. Unfortunately, due to the relative scarcity of data, Chinese accents and dialects remain a challenge for most ASR models. Recent advancements in self-supervised learning have shown that self-supervised pre- training, combined with large language models (LLM), can effectively enhance ASR performance in low-resource scenarios. We aim to investigate the effectiveness of this paradigm for Chinese dialects. Specifically, we pre-train a Data2vec2 model on 300,000 hours of unlabeled dialect and accented speech data and do alignment training on a supervised dataset of 40,000 hours. Then, we systematically examine the impact of various projectors and LLMs on Mandarin, dialect, and accented speech recognition performance under this paradigm. Our method achieved SOTA results on multiple dialect datasets, including Kespeech. We will open-source our work to promote reproducible research
• Abstract（参考訳）: 大規模トレーニングコーパスは、ASRモデルの性能を大幅に改善した。 残念ながら、データ量が比較的少ないため、ほとんどのASRモデルでは中国語アクセントと方言が依然として課題となっている。 近年の自己教師型学習の進歩により、自己教師型プレトレーニングと大規模言語モデル(LLM)が組み合わさって、低リソースシナリオにおけるASR性能を効果的に向上させることができることが示されている。 中国方言におけるこのパラダイムの有効性を検討することを目的としている。 具体的には、ラベルなし方言とアクセント付き音声データの30,000時間でData2vec2モデルを事前訓練し、教師付きデータセット上で4万時間アライメントトレーニングを行う。 そこで我々は,様々なプロジェクタとLLMがマンダリン,方言,アクセント付き音声認識性能に与える影響を,このパラダイムの下で体系的に検討した。 提案手法はケスペヒを含む複数の方言データセットを用いてSOTAの結果を得た。 再現可能な研究を促進するための研究成果をオープンソース化する

関連論文リスト

• Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
  我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。 我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
  論文  参考訳（メタデータ） (2024-12-24T17:37:11Z)
• Automatic Speech Recognition for the Ika Language [0.0]
  IkaのNew Testament Bible Multilingualから収集した高品質な音声データセット上で、事前学習したwav2vec 2.0の大規模翻訳を行う。 この結果から,微調整による事前学習モデルでは単語誤り率(WER)が0.5377,文字誤り率(CER)が0.2651となり,学習時間は1時間を超えることがわかった。
  論文  参考訳（メタデータ） (2024-10-01T11:56:42Z)
• Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language augmentation for Low Resource Self-Supervised Speech Models [48.44820587495038]
  自己教師付き表現学習(SSRL)は、音素認識を含むタスクの教師付きモデルよりも優れた性能を示した。 SSRLモデルのトレーニングは、十分な事前学習データが入手できない低リソース言語にとって課題となる。 本稿では,低リソース環境下でのSSRLモデルの事前学習にピッチ変動,雑音付加,アクセント付きターゲット言語,その他の言語音声を用いることを提案し,音素認識の評価を行う。
  論文  参考訳（メタデータ） (2023-09-22T10:09:09Z)
• Mispronunciation detection using self-supervised speech representations [10.010024759851142]
  本稿では,第2言語学習者の誤発音検出作業におけるSSLモデルの利用について検討する。 そこで本研究では,1)母国英語データを用いた音声認識モデルの訓練,2)非母国英語データを用いた目標タスクのためのモデルを直接訓練する,という2つのダウンストリームアプローチを比較した。
  論文  参考訳（メタデータ） (2023-07-30T21:20:58Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• UniSpeech-SAT: Universal Speech Representation Learning with Speaker Aware Pre-Training [72.004873454347]
  教師なし話者情報抽出の2つの手法が導入された。 SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。 トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-10-12T05:43:30Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。