論文の概要: Romanization Encoding For Multilingual ASR

• arxiv url: http://arxiv.org/abs/2407.04368v1
• Date: Fri, 5 Jul 2024 09:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 14:00:02.007767
• Title: Romanization Encoding For Multilingual ASR
• Title（参考訳）: マルチ言語ASRのためのロミゼーション符号化
• Authors: Wen Ding, Fei Jia, Hainan Xu, Yu Xi, Junjie Lai, Boris Ginsburg,
• Abstract要約: 我々は,多言語およびコードスイッチング自動音声認識システムの最適化のために,スクリプト重言語に対するロマネライズ符号化を導入する。 Roman2Charモジュールを備えたFastConformer-RNNTフレームワークにおいて,バランスの取れたトークンライザとともにローマン化符号化を採用することにより,語彙や出力次元を大幅に削減する。 本手法は,音響モデルと言語モデリングを分離し,システムの柔軟性と適応性を向上する。
• 参考スコア（独自算出の注目度）: 17.296868524096986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce romanization encoding for script-heavy languages to optimize multilingual and code-switching Automatic Speech Recognition (ASR) systems. By adopting romanization encoding alongside a balanced concatenated tokenizer within a FastConformer-RNNT framework equipped with a Roman2Char module, we significantly reduce vocabulary and output dimensions, enabling larger training batches and reduced memory consumption. Our method decouples acoustic modeling and language modeling, enhancing the flexibility and adaptability of the system. In our study, applying this method to Mandarin-English ASR resulted in a remarkable 63.51% vocabulary reduction and notable performance gains of 13.72% and 15.03% on SEAME code-switching benchmarks. Ablation studies on Mandarin-Korean and Mandarin-Japanese highlight our method's strong capability to address the complexities of other script-heavy languages, paving the way for more versatile and effective multilingual ASR systems.
• Abstract（参考訳）: 本稿では,多言語およびコードスイッチング自動音声認識(ASR)システムを最適化するために,スクリプト重言語に対するロマネライズ符号化を導入する。 Roman2Charモジュールを備えたFastConformer-RNNTフレームワークにおいて,バランスの取れたコンカニケータとともにローマン化符号化を採用することにより,語彙と出力次元を著しく削減し,より大きなトレーニングバッチを可能にし,メモリ消費を削減した。 本手法は,音響モデルと言語モデリングを分離し,システムの柔軟性と適応性を向上する。 本研究では, この手法をマンダリン英語ASRに適用することにより, SEAMEコードスイッチングベンチマークにおいて, 63.51%の語彙が顕著に減少し, 13.72%, 15.03%の顕著な性能向上が得られた。 マンダリン-韓国語とマンダリン-日本語のアブレーション研究は、他のスクリプト重言語の複雑さに対処する我々の手法の強みを強調し、より多言語的で効果的な多言語ASRシステムへの道を開いた。

関連論文リスト

• Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection [49.27067541740956]
  音声感情認識(SER)は、人間とコンピュータの自然な相互作用が可能な汎用AIエージェントを開発する上で重要な要素である。 英語や中国語以外の言語でラベル付きデータが不足しているため、堅牢な多言語SERシステムの構築は依然として困難である。 本稿では,低SERリソース言語におけるSERの性能向上のための手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:36:45Z)
• XLS-R Deep Learning Model for Multilingual ASR on Low- Resource Languages: Indonesian, Javanese, and Sundanese [0.0]
  本研究は,インドネシア語,ジャワ語,スンダ語などの音声言語をテキストに変換する際のASR性能の向上を目的としている。 その結果、XLS-R300mモデルは、ジャワ語とサンダーン語のパフォーマンスをわずかに損なうことなく、競合するWord Error Rate (WER)測定を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T13:44:48Z)
• Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer [17.700515986659063]
  Code-Switching (CS) Multilingual Automatic Speech Recognition (ASR) モデルは会話中に2つ以上の交互言語を含む音声を転写することができる。 本稿では,純粋にモノリンガルなデータソースからASRデータセットをコードスイッチングする新しい手法を提案する。 新たな Concatenated Tokenizer により、ASR モデルは既存のモノリンガルトークンを再利用しながら、出力されたテキストトークンごとに言語IDを生成することができる。
  論文  参考訳（メタデータ） (2023-06-14T21:24:11Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
  言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。 我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。 提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
  論文  参考訳（メタデータ） (2023-01-19T02:37:56Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Code Switched and Code Mixed Speech Recognition for Indic languages [0.0]
  多言語自動音声認識(ASR)システムの訓練は、音響情報と語彙情報が典型的には言語固有のものであるため困難である。 言語識別(LID)に基づく一言語モデルとエンドツーエンドの多言語音声認識システムの性能を比較した。 また,Hindi- English と Bengali- English の相似解法を提案し,それぞれ 21.77 と 28.27 の WER を実現する。
  論文  参考訳（メタデータ） (2022-03-30T18:09:28Z)
• Dual Script E2E framework for Multilingual and Code-Switching ASR [4.697788649564087]
  インド語のための多言語およびコードスイッチングASRシステムを訓練する。 テキスト音声合成の結果に触発されて、私たちは社内ルールベースの共通ラベルセット(CLS)表現を使用する。 Indic ASR Challenge 2021の多言語およびコードスイッチングタスクについて,本研究の結果を示す。
  論文  参考訳（メタデータ） (2021-06-02T18:08:27Z)
• Multilingual and code-switching ASR challenges for low resource Indian languages [59.2906853285309]
  インドの7つの言語に関連する2つのサブタスクを通じて、多言語およびコードスイッチングASRシステムの構築に重点を置いている。 これらの言語では、列車とテストセットからなる600時間分の音声データを合計で提供します。 また,マルチリンガルサブタスクとコードスイッチサブタスクのテストセットでは,それぞれ30.73%と32.45%という,タスクのベースラインレシピも提供しています。
  論文  参考訳（メタデータ） (2021-04-01T03:37:01Z)
• How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
  Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。 我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。 交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:07:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。