論文の概要: Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean
- arxiv url: http://arxiv.org/abs/2606.26618v1
- Date: Thu, 25 Jun 2026 05:27:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.179855
- Title: Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean
- Title（参考訳）: 低音源テキスト音声における品質ギャップの閉鎖:Khmer と Korean のための VoxCPM2 の LoRA ファインチューニング
- Abstract要約: 事前訓練された大規模なテキスト音声モデルは、十分にソースされた言語ではほとんど人間に聞こえるが、トレーニングデータでは稀な言語ではずっと悪い。
フローマッチング拡散拡散拡散拡散を伴うMiniCPM-4言語バックボーンを結合するモデルであるVoxCPM2を用いて、クメールと韓国のこの品質ギャップについて検討する。
約26時間の共有言語タグ付きコーパスを構築し、VoxCPM2を1つのLow-Rank Adaptation (LoRA)アダプタで適応させ、同時に両方の言語でトレーニングし、言語モデルとデコーダの両方に追加します。
- 参考スコア（独自算出の注目度）: 3.8910292487627793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large pretrained text-to-speech (TTS) models sound almost human for well-resourced languages, but much worse for languages that are rare in their training data. We study this quality gap for Khmer and Korean using VoxCPM2, a 2.4B-parameter, tokenizer-free TTS model that joins a MiniCPM-4 language-model backbone with a flow-matching diffusion decoder. We build one shared, language-tagged corpus of about 26 hours and adapt VoxCPM2 with a single Low-Rank Adaptation (LoRA) adapter, trained on both languages at once and added to both the language model and the decoder. The adapter is zero-initialized, so training starts exactly at the original (zero-shot) model. In native-speaker listening tests, the Khmer Mean Opinion Score (MOS) rises from 3.85 to 4.23 with the best adapter (rank 64), a highly significant gain (paired Wilcoxon test, p<0.001), while training only 0.19 to 3.03 percent of the parameters. The automatic loss and the human ratings, however, disagree on the best rank: validation loss is lowest at rank 128, yet MOS peaks at rank 64. The same adapter brings no gain for Korean, a language the base model already handles well, and at a high rank it even degrades quality. Adaptation therefore helps mainly where the base model is genuinely weak.
- Abstract（参考訳）: 大規模な事前訓練されたテキスト音声(TTS)モデルは、十分なリソースを持つ言語ではほとんど人間に聞こえるが、トレーニングデータに稀な言語ではずっと悪い。
フローマッチング拡散デコーダとMiniCPM-4言語モデルバックボーンを結合した2.4BパラメータフリーのTTSモデルであるVoxCPM2を用いて、クメールと韓国のこの品質ギャップについて検討する。
約26時間の共有言語タグ付きコーパスを構築し、単一のローランド適応(LoRA)アダプタでVoxCPM2を適応させ、両方の言語で一度にトレーニングし、言語モデルとデコーダの両方に追加します。
アダプタはゼロ初期化されているので、トレーニングはオリジナルの(ゼロショット)モデルから始まります。
ネイティブスピーカーのリスニングテストでは、Khmer Mean Opinion Score (MOS)は3.85から4.23に上昇し、最高のアダプタ(ランク64)、非常に大きな利得(ウィルコクソン試験、p<0.001)、パラメータの0.19から3.03%しかトレーニングしていない。
しかし、自動的な損失と人間の評価は、最高のランクで一致しない:検証損失は128位で最低だが、MOSは64位でピークとなる。
同じアダプタは韓国語には及ばず、ベースモデルがすでにうまく扱っている言語であり、高いランクでは品質を低下させる。
したがって、適応はベースモデルが真に弱い場所で主に役立ちます。
関連論文リスト
- Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders [0.0]
以下はBekko Embeddingの最小モデルであるBekko-embedding-v1-a8mで、8Mのアクティブパラメータ (AP) 以下である。
MMTEB Multilingual v2 Retrievalでは、多言語e5ファミリーとBGE-M3(APの40倍)の上に56.2得点する。
高品質のbekko-embedding-v1-a25m (わずか25M AP)は、gte-multilingual-baseと同等の57.5mに達し、Multilingual NanoBEIR (14言語)がこの傾向を確認している。
論文 参考訳（メタデータ） (2026-07-28T01:13:37Z) - mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。
データに1700以上の低リソース言語を追加しています。
分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
論文 参考訳（メタデータ） (2025-09-08T17:08:42Z) - Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages [2.9818807546566615]
我々は、小デコーダLMを事前訓練して、迅速に適応させ、事前訓練中に目に見えない言語にゼロショットを転送できるかどうかを問う。
4つのモデルサイズ(11M-570M)のMAMLは、頭部のみのチューニングでゼロショットマイクロF1を2-6pp、フルチューニングで1-3ppを持ち上げ、収束時間を最大8%削減する。
論文 参考訳（メタデータ） (2025-09-02T10:09:51Z) - Mispronunciation Detection Without L2 Pronunciation Dataset in Low-Resource Setting: A Case Study in Finland Swedish [8.82959220876704]
フィンランド語に対するMDモデルを導入し,89時間の第1言語(L1)話者の自然発話を訓練した。
エントロピー正則化と温度スケーリング,トップk正規化を併用した多言語wav2vec 2.0モデルを訓練した。
提案アルゴリズムでは,ベースラインモデルのリコール (77.5%) と精度 (17.6%) と比較して,リコール (43.2%) と精度 (29.8%) のバランスをとることができる。
論文 参考訳（メタデータ） (2025-06-01T20:28:35Z) - Automatic Speech Recognition for the Ika Language [0.0]
IkaのNew Testament Bible Multilingualから収集した高品質な音声データセット上で、事前学習したwav2vec 2.0の大規模翻訳を行う。
この結果から,微調整による事前学習モデルでは単語誤り率(WER)が0.5377,文字誤り率(CER)が0.2651となり,学習時間は1時間を超えることがわかった。
論文 参考訳（メタデータ） (2024-10-01T11:56:42Z) - From English to More Languages: Parameter-Efficient Model Reprogramming
for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。
我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。
提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文 参考訳（メタデータ） (2023-01-19T02:37:56Z) - SMaLL-100: Introducing Shallow Multilingual Machine Translation Model
for Low-Resource Languages [102.50127671423752]
本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。
我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。
我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
論文 参考訳（メタデータ） (2022-10-20T22:32:29Z) - Language-Family Adapters for Low-Resource Multilingual Neural Machine
Translation [129.99918589405675]
自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。
マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。
言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
論文 参考訳（メタデータ） (2022-09-30T05:02:42Z) - Effectiveness of Mining Audio and Text Pairs from Public Data for
Improving ASR Systems for Low-Resource Languages [15.214673043019395]
Shrutilipiは、12のインドの言語で6,400時間以上のラベル付きオーディオを含むデータセットです。
平均すると、Shrutilipiは公開ラベル付きデータよりも2.3倍増加する。
We show that that Shrutilipi to the training set of Wav2Vec models to a average down of WER for 7 languages。
論文 参考訳（メタデータ） (2022-08-26T13:37:45Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - Unsupervised Cross-lingual Representation Learning for Speech
Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。
我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。
実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文 参考訳（メタデータ） (2020-06-24T18:25:05Z) - Recipes for Adapting Pre-trained Monolingual and Multilingual Models to
Machine Translation [50.0258495437314]
機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。
BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。
mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
論文 参考訳（メタデータ） (2020-04-30T16:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。