論文の概要: Automatic Speech Recognition for the Ika Language

• arxiv url: http://arxiv.org/abs/2410.00940v1
• Date: Tue, 1 Oct 2024 11:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 00:09:47.546868
• Title: Automatic Speech Recognition for the Ika Language
• Title（参考訳）: 伊賀語の自動音声認識
• Authors: Uchenna Nzenwata, Daniel Ogbuigwe,
• Abstract要約: IkaのNew Testament Bible Multilingualから収集した高品質な音声データセット上で、事前学習したwav2vec 2.0の大規模翻訳を行う。 この結果から,微調整による事前学習モデルでは単語誤り率(WER)が0.5377,文字誤り率(CER)が0.2651となり,学習時間は1時間を超えることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a cost-effective approach for developing Automatic Speech Recognition (ASR) models for low-resource languages like Ika. We fine-tune the pretrained wav2vec 2.0 Massively Multilingual Speech Models on a high-quality speech dataset compiled from New Testament Bible translations in Ika. Our results show that fine-tuning multilingual pretrained models achieves a Word Error Rate (WER) of 0.5377 and Character Error Rate (CER) of 0.2651 with just over 1 hour of training data. The larger 1 billion parameter model outperforms the smaller 300 million parameter model due to its greater complexity and ability to store richer speech representations. However, we observe overfitting to the small training dataset, reducing generalizability. Our findings demonstrate the potential of leveraging multilingual pretrained models for low-resource languages. Future work should focus on expanding the dataset and exploring techniques to mitigate overfitting.
• Abstract（参考訳）: 我々は,Ikaのような低リソース言語を対象とした音声認識モデル(ASR)の開発において,コスト効率のよいアプローチを提案する。 Ikaにおける新約聖書翻訳から収集した高品質な音声データセットを用いて、事前訓練したwav2vec 2.0の大規模多言語音声モデルを微調整する。 この結果から,微調整による事前学習モデルでは単語誤り率(WER)が0.5377,文字誤り率(CER)が0.2651となり,学習時間は1時間を超えることがわかった。 より大きい10億のパラメータモデルは、より複雑さとよりリッチな音声表現を格納する能力のために、3億のパラメータモデルよりも優れています。 しかし、小さなトレーニングデータセットへの過度な適合が観察され、一般化性が低下する。 本研究は,低リソース言語に対する多言語事前学習モデルの活用の可能性を示すものである。 今後の作業は、データセットの拡大とオーバーフィッティングを緩和するテクニックの探求に重点を置くべきだ。

関連論文リスト

• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages [76.95115818308918]
  100以上の言語で自動音声認識(ASR)を行う単一大モデルであるUniversal Speech Model (USM)を導入する。 これは300以上の言語にまたがる1200万時間 (M) の大規模なラベル付き多言語データセット上で、モデルのエンコーダを事前トレーニングすることで達成される。 我々は,多言語事前学習とランダム投影量子化と音声-テキスト・モダリティマッチングを用いて,下流多言語ASRおよび音声-テキスト翻訳タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-02T07:47:18Z)
• Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining [2.3513645401551333]
  既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。 この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。 関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-01-18T03:57:53Z)
• MiLMo:Minority Multilingual Pre-trained Language Model [1.6409017540235764]
  本稿では、マイノリティ言語タスクにおいてより優れた性能を発揮する、MLMoという多言語事前学習モデルを構築した。 テキスト分類タスクにおいて,Word2vecモデルと事前学習モデルを比較することにより,少数言語の下流タスク研究に最適なスキームを提供する。
  論文  参考訳（メタデータ） (2022-12-04T09:28:17Z)
• SMaLL-100: Introducing Shallow Multilingual Machine Translation Model for Low-Resource Languages [102.50127671423752]
  本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。 我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。 我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
  論文  参考訳（メタデータ） (2022-10-20T22:32:29Z)
• Distilling a Pretrained Language Model to a Multilingual ASR Model [3.4012007729454816]
  教師のテキストモデルに埋め込まれた豊富な知識を学生の音声モデルに蒸留する。 我々は,100時間未満の音声データを持つCommonVoiceデータセットの低リソース言語20言語に対して,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-06-25T12:36:11Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Improved Language Identification Through Cross-Lingual Self-Supervised Learning [37.32193095549614]
  我々は、事前訓練されたモデルを用いて、言語識別に関する以前の自己教師型研究を拡張した。 25言語のセットアップ結果から、言語毎にラベル付きデータの10分で、言語横断的に事前訓練されたモデルが93%以上の精度を達成できることが示された。
  論文  参考訳（メタデータ） (2021-07-08T19:37:06Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。