論文の概要: ByT5 model for massively multilingual grapheme-to-phoneme conversion

• arxiv url: http://arxiv.org/abs/2204.03067v1
• Date: Wed, 6 Apr 2022 20:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-09 07:39:51.899268
• Title: ByT5 model for massively multilingual grapheme-to-phoneme conversion
• Title（参考訳）: byt5による多言語grapheme-to-phoneme変換モデル
• Authors: Jian Zhu, Cong Zhang, David Jurgens
• Abstract要約: ByT5をベースとしたG2Pモデルを実装することで,多言語グラフから音素への変換を実現する。 バイトレベルの入力で動作する ByT5 は,多言語G2P でトークンベースの mT5 モデルよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 13.672109728462663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we tackle massively multilingual grapheme-to-phoneme conversion through implementing G2P models based on ByT5. We have curated a G2P dataset from various sources that covers around 100 languages and trained large-scale multilingual G2P models based on ByT5. We found that ByT5 operating on byte-level inputs significantly outperformed the token-based mT5 model in terms of multilingual G2P. Pairwise comparison with monolingual models in these languages suggests that multilingual ByT5 models generally lower the phone error rate by jointly learning from a variety of languages. The pretrained model can further benefit low resource G2P through zero-shot prediction on unseen languages or provides pretrained weights for finetuning, which helps the model converge to a lower phone error rate than randomly initialized weights. To facilitate future research on multilingual G2P, we make available our code and pretrained multilingual G2P models at: https://github.com/lingjzhu/CharsiuG2P.
• Abstract（参考訳）: 本研究では,ByT5に基づくG2Pモデルの実装により,多言語グラフの音素変換を実現する。 我々は,約100言語をカバーするさまざまなソースからG2Pデータセットを収集し,ByT5に基づく大規模多言語G2Pモデルを訓練した。 バイトレベルの入力で動作する ByT5 は,多言語G2P でトークンベースの mT5 モデルよりも有意に優れていた。 これらの言語における単言語モデルとのペアワイズ比較は、多言語 ByT5 モデルが様々な言語から共同学習することで、一般的に電話誤り率を低下させることを示唆している。 事前訓練されたモデルは、目に見えない言語のゼロショット予測や、微調整のための事前訓練された重み付けによって、低リソースのG2Pをさらに恩恵を与えることができる。 多言語G2Pの今後の研究を促進するため、コードと事前訓練された多言語G2Pモデルをhttps://github.com/lingjzhu/CharsiuG2Pで公開する。

関連論文リスト

• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• idT5: Indonesian Version of Multilingual T5 Transformer [0.0]
  インドネシア語は2億人近い人々によって話されており、世界で10番目に話されている言語である。 本研究では,mT5モデルがインドネシア語にのみ適用され,インドネシア語のみに限定した訓練済みのT5モデルが得られた。 本モデルに基づく微調整モデルでは,SAでは77.18%,mT5モデルより8%高い精度を示し,QGおよびQAではmT5モデルとほぼ同じスコアを得た。
  論文  参考訳（メタデータ） (2023-02-02T03:56:16Z)
• mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
  本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。 我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。 その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-04-15T13:02:33Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Multilingual Translation via Grafting Pre-trained Language Models [12.787188625198459]
  本稿では,機械翻訳のための事前学習言語モデルを個別に移植するGraformerを提案する。 事前学習のための単言語データと移植訓練のための並列データを用いて,両タイプのデータの利用を最大限に活用する。
  論文  参考訳（メタデータ） (2021-09-11T10:57:45Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble [0.0]
  モデルアンサンブルを多言語トランスフォーマーと自己学習に応用し、15言語のための高効率なG2Pソリューションを開発するための簡単なアプローチについて述べる。 最良モデルでは14.99ワード誤り率(WER)と3.30音素誤り率(PER)が達成され,共有タスク競合ベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2020-06-23T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。