論文の概要: Low Language Transfer Speech-to-Text
- arxiv url: http://arxiv.org/abs/2611.16260v1
- Date: Thu, 12 Nov 2026 04:00:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.356479
- Title: Low Language Transfer Speech-to-Text
- Title(参考訳): 低言語音声からテキストへの変換
- Abstract要約: 微調整により、すべてのモデルのマクロ文字エラー率(CER)は16.6から53.1ポイント、最高で9.5に低下する。
CERの5.7ポイントを英語、スペイン語、フランス語、ドイツ語の中央値モデルに費やしている。
Qwen3-ASR 0.6B を 60.9 から 39.3 にカットし、10倍の値が 9.7 に値する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A multilingual speech recogniser has heard much speech in its own languages. We ask how much of that it brings to a language it was never trained on, when it is fine-tuned on the little that language has. We score 28 open multilingual models untouched on Low-Language-TTS, 50 low-resource languages in 11 writing systems, and fine-tune 24 of them on at most 1,000 clips a language, 82 hours in all, with a dev set choosing every epoch. Fine-tuning lowers every model's macro character error rate (CER), by 16.6 to 53.1 points, to 9.5 at best, and a word language model takes three CTC models 1.2 to 1.4 points lower; WER is still 34.4 at best. On the 12 languages that no model lists, every model starts at 46 or worse and the best ends at 11.7. The same architectures from random weights stay 60 points or more behind, so the gain is transfer, and an encoder left untouched already gives a Whisper or Qwen decoder most of what it needs. It is the language, not the corpus: on FLEURS recordings that ours do not share, the median model keeps 79% of its gain. It costs the languages the models knew, 5.7 points of CER on English, Spanish, French and German in the median model. Low-rank adapters on 4% of the weights come within 1.1 points of tuning everything, and on 2 of 3 models forget less. Seq2seq and language-model decoders are done within three to five epochs, while a new CTC head is still improving at twenty or thirty. Data beats epochs: 25 clips a language take Qwen3-ASR 0.6B from 60.9 to 39.3, and at equal clips presented, ten times the data is worth 9.7 points. A model that first learned forty of the languages learns the other ten no faster. On a public Malay benchmark, untouched Whisper large-v3 scores 8.9 when it detects the language and 14.9 when told the clip is Malay, because it then translates the English that speakers mix in; trained on the Scicom telephony dataset it scores 6.0.
- Abstract(参考訳): 多言語音声認識器は、独自の言語で多くの音声を聴いている。
トレーニングされたことのない言語にどの程度の量のものをもたらすのか、その言語が持つ小さな部分について微調整されているのか、私たちは尋ねます。
私たちは、ローランゲージTTSで非タッチされた28のオープン多言語モデル、11の書き込みシステムで50の低リソース言語、そして1つの言語で少なくとも1000のクリップで24の微調整を行い、82時間、すべてのエポックを選択した開発者セットを記録しました。
微調整により、すべてのモデルのマクロ文字エラー率(CER)は16.6から53.1ポイント、最高は9.5ポイント、ワード言語モデルは3つのCTCモデル1.2から1.4ポイント、WERは最高は34.4である。
モデルリストを持たない12の言語では、すべてのモデルは46かそれ以上で始まり、最良のものは11.7で終わる。
ランダムウェイトと同一のアーキテクチャが60ポイント以上遅れているため、ゲインは転送であり、未タッチのままのエンコーダはWhisperやQwenデコーダに、必要なものの大部分を与える。
FLEURSが共有していない記録では、中央値モデルでは79%の利得が保たれています。
CERの5.7ポイントを英語、スペイン語、フランス語、ドイツ語の中央値モデルに費やしている。
重量の4%の低ランクアダプタは、全てをチューニングする1.1ポイント以内であり、3つのモデルのうち2つは忘れない。
Seq2seqと言語モデルデコーダは3~5エポックで行われ、新しいCTCヘッドは20~30で改善されている。
25のクリップがQwen3-ASR 0.6Bを60.9から39.3に取り、同じクリップで10倍の値が9.7ポイントとなる。
言語を40個初めて学んだモデルは、他の10個をもっと早く学習する。
公的なマレーのベンチマークでは、未タッチのWhisper large-v3スコアが8.9で、クリップを録音すると14.9でマレー語が混在している英語を翻訳し、Scicomのテレフォニーデータセットで訓練され、スコアが6.0である。
関連論文リスト
- Lara Mini Base: Language Diversity as a Resource, Not a Trade-off [93.81266458948464]
ララ・ミニ・ベース(Lara Mini base)は、英語および44の他の言語で6Tトークンをスクラッチからトレーニングしたモデルである。
標準英語、多言語、数学、コードベンチマークの平均スコアが最も高い。
私たちのMoEアーキテクチャは、言語間の容量競合を減らします。
論文 参考訳(メタデータ) (2026-11-12T15:28:56Z) - XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages [0.00954904463032233]
XDecideBenchは122言語で9つのスイートのベンチマークである。
私たちの12言語スイートでは、3つのオープンモデルが型付けされた決定のために微調整され、すべての言語でQwenベースモデルを上回っました。
各スイートで最高の英語モデルは、後から選択され、約4分の1のスイートと言語の組み合わせで大幅に打ち負かされている。
論文 参考訳(メタデータ) (2026-11-01T00:11:15Z) - Anuvani-LID: Robust and Calibrated Spoken Language Identification for Indian Languages [0.0]
我々は、22のインド語とインドアクセント付き英語にまたがる54,643時間のインド語音声で訓練された115MパラメータLIDコンバータモデルであるAnuvani LIDを提案する。
ジェミニの24ポイントを1秒で上回り、他のシステムが0.713を超えない23言語で0.897得点し、ECEの0.008に校正されている。
論文 参考訳(メタデータ) (2026-10-14T14:29:35Z) - The Curse of Multilinguality in Lexical Normalization [0.0]
一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。
そのようなモデルをトレーニングすべき言語はいくつあるのか?
言語が他でのみトレーニングされている場合、正確性が最も高いのです。
論文 参考訳(メタデータ) (2026-08-27T22:48:02Z) - Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳(メタデータ) (2023-11-25T17:05:21Z) - Scaling Speech Technology to 1,000+ Languages [66.31120979098483]
MMS(Massively Multilingual Speech)プロジェクトは、タスクに応じてサポート言語を10~40倍増やす。
主な材料は、一般に公開されている宗教文書の読解に基づく新しいデータセットである。
我々は,1,406言語,1,107言語用1つの多言語自動音声認識モデル,同一言語用音声合成モデル,4,017言語用言語識別モデルについて,事前学習したwav2vec 2.0モデルを構築した。
論文 参考訳(メタデータ) (2023-05-22T22:09:41Z) - Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。
GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。
多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文 参考訳(メタデータ) (2023-02-17T14:46:38Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳(メタデータ) (2021-12-20T16:52:35Z) - Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。
我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。
標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
論文 参考訳(メタデータ) (2020-02-26T20:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。