論文の概要: Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs

• arxiv url: http://arxiv.org/abs/2606.05846v1
• Date: Thu, 04 Jun 2026 08:22:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.642791
• Title: Towards Truly Multilingual ASR: Generalizing Code-Switching ASR to Unseen Language Pairs
• Title（参考訳）: 真に多言語的なASRを目指して - コードスイッチ型ASRを言語ペアに一般化する
• Authors: Gio Paik, Hyunseo Shin, Soungmin Lee,
• Abstract要約: 符号スイッチング ASR (CS-ASR) は、多言語CS音声資源の不足により、特に困難である。 既存のアプローチは、合成CS音声生成やペア固有微調整によりCS-ASR性能を向上させる。 限られた言語対から学習したCS能力が、未知の言語対に一般化できるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 4.697631271009118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Speech Recognition (ASR) has become a key technology for human--AI interaction. However, code-switching ASR (CS-ASR) remains particularly challenging due to the severe scarcity of multilingual CS speech resources across diverse language pairs. Existing approaches primarily improve CS-ASR performance through synthetic CS speech generation or pair-specific fine-tuning on limited bilingual datasets. Nevertheless, these approaches face an inherent scalability limitation, as support for CS must be developed separately for language pairs whose number grows combinatorially with the number of supported languages. In this work, we investigate whether CS capabilities learned from a limited set of seen language pairs can generalize to unseen language pairs through model merging and domain generalization methods. Our experiments show that merged bilingual CS-ASR models modestly generalize to unseen language pairs, suggesting limited transfer of bilingual CS capabilities across language pairs.
• Abstract（参考訳）: ASR(Automatic Speech Recognition)は、人間のAIインタラクションの鍵となる技術である。 しかし、多言語CS音声リソースが多言語対に分散しているため、コードスイッチング ASR (CS-ASR) は特に困難である。 既存のアプローチは主に、合成CS音声生成や、限定されたバイリンガルデータセット上でのペア固有の微調整によってCS-ASRの性能を改善する。 しかしながら、これらのアプローチは、CSのサポートは、サポート言語の数と組み合わせて増加する言語ペアに対して別々に開発されなければならないため、固有のスケーラビリティ制限に直面している。 本研究では,限られた言語対から学習したCS能力が,モデルマージとドメイン一般化手法により未知の言語対に一般化できるかどうかを検討する。 実験の結果,バイリンガルCS-ASRモデルの統合は,両言語間のCS機能を限定的に伝達することが示唆された。

関連論文リスト

• Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages [76.14451035425229]
  大規模自動音声認識システムであるOmnilingual ASRを紹介する。 自己教師付き事前学習を7Bパラメータに拡張し、堅牢な音声表現を学習する。 ASRが提供しなかった500以上の言語を含む1,600以上の言語にカバー範囲を広げている。
  論文  参考訳（メタデータ） (2025-11-12T19:48:09Z)
• UniCoM: A Universal Code-Switching Speech Generator [19.893429976826464]
  Code-Switching (CS) は、1つの話者の発話に含まれる2つ以上の言語間の交替であり、現実世界の会話では一般的である。 高品質で自然なCSサンプルを生成するための新しいパイプラインであるUniCoM(UniCoM)を提案する。 自動音声認識(ASR)と音声テキスト翻訳(S2TT)のための多言語CSコーパスであるコードスイッチングFLEURS(CS-FLEURS)を構築する。
  論文  参考訳（メタデータ） (2025-08-21T05:11:21Z)
• Optimizing ASR for Catalan-Spanish Code-Switching: A Comparative Analysis of Methodologies [9.224033819309708]
  2つ以上の言語を交互に使用するコードスイッチング(CS)は、訓練データ不足と言語的類似性のため、自動音声認識(ASR)に挑戦する。 1)合成CSデータの生成,(2)モノリンガル音声の連結,(3)言語トークンを用いた実CSデータの利用,の3つの戦略を探索することにより,カタルーニャ・スペインのCSのためのASRを改善する。 その結果,合成CSデータの質素な量と支配的な言語トークンを組み合わせれば,最高の転写性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-07-18T12:54:41Z)
• Efficient Multilingual ASR Finetuning via LoRA Language Experts [59.27778147311189]
  本稿では,WhisperをベースとしたLoRA言語エキスパートによる多言語ASRをカスタマイズするための効率的な微調整フレームワークを提案する。 LoRAエキスパート融合や知識蒸留により,本手法は従来の微調整法よりも目標言語での認識性能が向上する。 実験の結果,提案モデルでは,言語認識および言語認識のシナリオにおいて,約10%と15%の性能向上が得られた。
  論文  参考訳（メタデータ） (2025-06-11T07:06:27Z)
• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• Enhancing Code-switched Text-to-Speech Synthesis Capability in Large Language Models with only Monolingual Corpora [13.891322931352649]
  本稿では,CS-LLM(Code-Switched Large Language Model)を提案する。 具体的には、多言語音声認識と合成タスクにより、LLMの多言語音声処理能力を向上することから始める。 我々は,CS TTS 能力を改善した LLM を装備するために,異なる単言語音声コーパスから単語を分割・分割する効果的なコードスイッチング(CS)データ構築戦略を開発した。
  論文  参考訳（メタデータ） (2024-09-17T08:11:07Z)
• Cross-Modal Mutual Learning for Cued Speech Recognition [10.225972737967249]
  マルチモーダルインタラクションを促進するためのトランスフォーマーに基づく相互学習フレームワークを提案する。 我々のモデルは、モダリティ固有の異なるモダリティの情報に、モダリティ不変のコードブックを通らせるよう強制する。 中国語のための大規模多話者CSデータセットを新たに構築する。
  論文  参考訳（メタデータ） (2022-12-02T10:45:33Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models [55.82292352607321]
  コードスイッチング(英: Code-switching, CS)は、複数の言語が文内で使用される日常会話において一般的である。 本稿では、最近成功した自己教師付き学習(SSL)手法を用いて、CSを使わずに多くのラベルなし音声データを活用する。
  論文  参考訳（メタデータ） (2021-10-07T14:43:35Z)
• Style Variation as a Vantage Point for Code-Switching [54.34370423151014]
  Code-Switching (CS) は、複数のバイリンガルコミュニティや多言語コミュニティでよく見られる現象である。 両言語間のスタイルのバリエーションとして,CSの新たな特徴点を提示する。 本稿では,第1段階がCSの競合負例を生成し,第2段階がより現実的なCS文を生成する2段階生成逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T15:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。