論文の概要: Improving Whisper's Recognition Performance for Under-Represented Language Kazakh Leveraging Unpaired Speech and Text

• arxiv url: http://arxiv.org/abs/2408.05554v1
• Date: Sat, 10 Aug 2024 13:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 18:21:46.025444
• Title: Improving Whisper's Recognition Performance for Under-Represented Language Kazakh Leveraging Unpaired Speech and Text
• Title（参考訳）: 弱表現言語カザフ語における未知の音声とテキストを利用したウィスパーの認識性能の向上
• Authors: Jinpeng Li, Yu Pu, Qi Sun, Wei-Qiang Zhang,
• Abstract要約: 表現不足の言語でWhisperのパフォーマンスを改善する方法について研究する価値がある。 我々は、アクセシブル・アンペア音声とテキストデータを利用し、言語モデルGPTとカザフ語Whisperを組み合わせた。 複数の実験で10%以上の絶対WER削減を達成した。
• 参考スコア（独自算出の注目度）: 22.19230427358921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Whisper and other large-scale automatic speech recognition models have made significant progress in performance. However, their performance on many low-resource languages, such as Kazakh, is not satisfactory. It is worth researching how to utilize low-cost data to improve the performance of Whisper on under-represented languages. In this study, we utilized easily accessible unpaired speech and text data and combined the language model GPT with Whisper on Kazakh. We implemented end of transcript (EOT) judgment modification and hallucination penalty to improve the performance of speech recognition. Further, we employed the decoding average token log probability as a criterion to select samples from unlabeled speech data and used pseudo-labeled data to fine-tune the model to further improve its performance. Ultimately, we achieved more than 10\% absolute WER reduction in multiple experiments, and the whole process has the potential to be generalized to other under-represented languages.
• Abstract（参考訳）: Whisperや他の大規模自動音声認識モデルは、性能に大きな進歩をもたらした。 しかし、Kazakhのような低リソース言語でのパフォーマンスは満足できない。 表現不足言語におけるWhisperの性能向上のために、低コストなデータを利用する方法を研究する価値がある。 本研究では,言語モデルであるGPTとWhisper on Kazakhを組み合わせた。 音声認識の性能向上のため,EOT(End of transcript)判定の修正と幻覚ペナルティを実装した。 さらに、デコード平均トークンログ確率を基準として、未ラベル音声データからサンプルを抽出し、擬似ラベルデータを用いてモデルを微調整し、その性能をさらに向上させた。 究極的には、複数の実験で10 %以上の絶対 WER 還元を実現し、プロセス全体が他の非表現言語に一般化される可能性がある。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Natural language guidance of high-fidelity text-to-speech with synthetic annotations [13.642358232817342]
  本稿では,話者識別,スタイル,記録条件の様々な側面をラベル付けするスケーラブルな手法を提案する。 次に、この手法を45k時間データセットに適用し、音声言語モデルを訓練する。 その結果, アクセント, 韻律スタイル, チャネル条件, 音響条件の多岐にわたる高忠実度音声生成が得られた。
  論文  参考訳（メタデータ） (2024-02-02T21:29:34Z)
• Maximizing Data Efficiency for Cross-Lingual TTS Adaptation by Self-Supervised Representation Mixing and Embedding Initialization [57.38123229553157]
  本稿では,テキスト音声合成システムにおける言語適応のための効果的な伝達学習フレームワークを提案する。 ラベル付きおよびラベルなしの最小データを用いて言語適応を実現することに注力する。 実験結果から,本フレームワークは,ラベル付きデータの4つの発声とラベル付きデータの15分で,未知の言語で理解不能な音声を合成できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:55:34Z)
• Leveraging Data Collection and Unsupervised Learning for Code-switched Tunisian Arabic Automatic Speech Recognition [4.67385883375784]
  本稿では,チュニジア方言に着目した自動音声認識(ASR)課題に焦点を当てた。 まず、テキストデータと音声データを収集し、場合によっては注釈を付ける。 第2に、チュニジアのさまざまなテストセットに最先端をプッシュするために、セルフスーパービジョン、セミスーパービジョン、および数ショットのコードスイッチングアプローチについて検討する。 第3に,従来の綴りの欠如を考慮し,テスト基準のスペルから発生する騒音を避けるために,転写文の人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-20T13:56:27Z)
• KinSPEAK: Improving speech recognition for Kinyarwanda via semi-supervised learning methods [3.3721926640077804]
  本研究では, 自己教師付き事前学習を, 微調整中の簡単なカリキュラムスケジュールに従って実施し, 半教師付き学習により, キニャルワンダの音声認識性能を大幅に向上させることを示した。 我々のモデルは、新しいデータセットで3.2%のワードエラー率(WER)、Mozilla Common Voiceベンチマークで15.6%のWERを達成した。
  論文  参考訳（メタデータ） (2023-08-23T01:44:28Z)
• Evaluating the Effectiveness of Natural Language Inference for Hate Speech Detection in Languages with Limited Labeled Data [2.064612766965483]
  ゼロおよび少数ショット設定で良好に機能する自然言語推論(NLI)モデルは、ヘイトスピーチ検出性能の恩恵を受ける。 対象言語における直接微調整よりも,NLI微調整の性能が向上したことを示す。
  論文  参考訳（メタデータ） (2023-06-06T14:40:41Z)
• Take the Hint: Improving Arabic Diacritization with Partially-Diacritized Text [4.863310073296471]
  本稿では,任意のダイアクリティカルティクスを効果的にサポートするマルチソースモデルである2SDiacを提案する。 また、ランダムマスキングのレベルが異なる入力において、与えられたダイアクリティカルを活用できるトレーニングスキームであるガイドドラーニングを導入する。
  論文  参考訳（メタデータ） (2023-06-06T10:18:17Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• Simple and Effective Unsupervised Speech Translation [68.25022245914363]
  ラベル付きデータなしで音声翻訳システムを構築するための,シンプルで効果的な手法について検討する。 事前学習された音声モデルに対する教師なし領域適応手法を提案する。 実験により、教師なし音声からテキストへの翻訳は、それまでの教師なし状態よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-10-18T22:26:13Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• Self-Supervised Representations Improve End-to-End Speech Translation [57.641761472372814]
  自己教師付き事前学習機能により,翻訳性能が一貫的に向上することを示す。 言語間の変換は、チューニングの必要なく、あるいはほとんどチューニングすることなく、さまざまな言語に拡張することができる。
  論文  参考訳（メタデータ） (2020-06-22T10:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。