論文の概要: SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset

• arxiv url: http://arxiv.org/abs/2506.00087v1
• Date: Fri, 30 May 2025 05:54:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.278771
• Title: SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset
• Title（参考訳）: SwitchLingua: 最初の大規模マルチ言語およびマルチエスニックコードスイッチデータセット
• Authors: Peng Xie, Xingyuan Liu, Tsz Wai Chan, Yequan Bie, Yangqiu Song, Yang Wang, Hao Chen, Kani Chen,
• Abstract要約: コードスイッチング(Code-Switching, CS)とは、会話や発話の中で2つ以上の言語を交互に使用する方法である。 この言語現象は、自動音声認識(ASR)システムに課題をもたらす。 textbfSwitchLinguaは、最初の大規模多言語および多民族のコードスイッチングデータセットである。
• 参考スコア（独自算出の注目度）: 34.40254709148148
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Code-switching (CS) is the alternating use of two or more languages within a conversation or utterance, often influenced by social context and speaker identity. This linguistic phenomenon poses challenges for Automatic Speech Recognition (ASR) systems, which are typically designed for a single language and struggle to handle multilingual inputs. The growing global demand for multilingual applications, including Code-Switching ASR (CSASR), Text-to-Speech (CSTTS), and Cross-Lingual Information Retrieval (CLIR), highlights the inadequacy of existing monolingual datasets. Although some code-switching datasets exist, most are limited to bilingual mixing within homogeneous ethnic groups, leaving a critical need for a large-scale, diverse benchmark akin to ImageNet in computer vision. To bridge this gap, we introduce \textbf{LinguaMaster}, a multi-agent collaboration framework specifically designed for efficient and scalable multilingual data synthesis. Leveraging this framework, we curate \textbf{SwitchLingua}, the first large-scale multilingual and multi-ethnic code-switching dataset, including: (1) 420K CS textual samples across 12 languages, and (2) over 80 hours of audio recordings from 174 speakers representing 18 countries/regions and 63 racial/ethnic backgrounds, based on the textual data. This dataset captures rich linguistic and cultural diversity, offering a foundational resource for advancing multilingual and multicultural research. Furthermore, to address the issue that existing ASR evaluation metrics lack sensitivity to code-switching scenarios, we propose the \textbf{Semantic-Aware Error Rate (SAER)}, a novel evaluation metric that incorporates semantic information, providing a more accurate and context-aware assessment of system performance.
• Abstract（参考訳）: コードスイッチング(英: Code-switching、CS)とは、会話や発話の中で2つ以上の言語が交互に使用されることであり、しばしば社会的文脈や話者のアイデンティティに影響される。 この言語現象は、通常単一の言語用に設計され、多言語入力を扱うのに苦労する自動音声認識(ASR)システムに課題をもたらす。 Code-Switching ASR (CSASR)、Text-to-Speech (CSTTS)、Cross-Lingual Information Retrieval (CLIR)など、多言語アプリケーションに対する世界的な需要が高まっている。 一部のコードスイッチングデータセットは存在するが、ほとんどが同質の民族グループ内でのバイリンガル混合に限られており、コンピュータビジョンにおけるImageNetのような大規模で多様なベンチマークの必要性が残っている。 このギャップを埋めるために、我々は、効率的でスケーラブルな多言語データ合成に特化したマルチエージェント協調フレームワークである \textbf{LinguaMaster} を紹介した。 このフレームワークを活用して、(1)12言語にわたる420KのCSテキストサンプルと(2)18の国/地域と63の人種/民族背景を表す174人の話者による80時間以上のオーディオ記録を含む、最初の大規模多言語および多民族のコードスイッチングデータセットである‘textbf{SwitchLingua}’をキュレートする。 このデータセットは豊かな言語と文化の多様性を捉え、多言語と多文化の研究を進めるための基盤となる資源を提供する。 さらに,既存のASR評価指標では,コードスイッチングシナリオに対する感度が欠如している問題に対処するため,意味情報を組み込んだ新たな評価指標である‘textbf{Semantic-Aware Error Rate(SAER)’を提案する。

関連論文リスト

• CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval [0.9023847175654603]
  CLASP(Contrastive Language-Speech Pretraining)は、音声テキスト情報検索に適した多言語表現である。 トレーニングでは,フィクションから宗教まで15の分野を対象とする音声テキストデータセットを新たに導入した。 複数の言語で評価した結果、CLASPはHITS@1、MRR、平均Rメトリクスで新しいベンチマークを確立している。
  論文  参考訳（メタデータ） (2024-12-17T16:38:10Z)
• Developing a Multilingual Dataset and Evaluation Metrics for Code-Switching: A Focus on Hong Kong's Polylingual Dynamics [0.5700195008916903]
  我々は,Multi-Agent Data Generation Framework (MADGF) を用いた混合カントンと英語(MCE)音声の34.8時間データセットを開発した。 我々は,オープンソースの多言語自動音声認識(ASR)モデルであるWhisperをMCEデータセットで微調整し,印象的なゼロショット性能を実現した。
  論文  参考訳（メタデータ） (2023-10-27T08:01:55Z)
• Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
  コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。 英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。 我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
  論文  参考訳（メタデータ） (2023-05-31T11:43:16Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Code Switched and Code Mixed Speech Recognition for Indic languages [0.0]
  多言語自動音声認識(ASR)システムの訓練は、音響情報と語彙情報が典型的には言語固有のものであるため困難である。 言語識別(LID)に基づく一言語モデルとエンドツーエンドの多言語音声認識システムの性能を比較した。 また,Hindi- English と Bengali- English の相似解法を提案し,それぞれ 21.77 と 28.27 の WER を実現する。
  論文  参考訳（メタデータ） (2022-03-30T18:09:28Z)
• Reducing language context confusion for end-to-end code-switching automatic speech recognition [50.89821865949395]
  本稿では,E2E符号スイッチングASRモデルの多言語コンテキストの混同を低減するための言語関連アテンション機構を提案する。 複数の言語のそれぞれの注意を計算することにより、豊かな単言語データから言語知識を効率的に伝達することができる。
  論文  参考訳（メタデータ） (2022-01-28T14:39:29Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。