論文の概要: Evaluating Byte and Wordpiece Level Models for Massively Multilingual Semantic Parsing

• arxiv url: http://arxiv.org/abs/2212.07223v1
• Date: Wed, 14 Dec 2022 13:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:53:24.532439
• Title: Evaluating Byte and Wordpiece Level Models for Massively Multilingual Semantic Parsing
• Title（参考訳）: 多言語意味解析のためのバイト・ワードピースレベルモデルの評価
• Authors: Massimo Nicosia and Francesco Piccinno
• Abstract要約: バイトレベル(ByT5)とワードピースベース(mT5)をMASSIVE多言語意味解析データセットの51言語におけるシーケンスモデルと比較する。 すべての言語からのゴールドデータに基づいてトレーニングされたモデルに対して、正確なマッチング精度のギャップを5ポイントに縮めることができます。
• 参考スコア（独自算出の注目度）: 3.431659287330068
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Token free approaches have been successfully applied to a series of word and span level tasks. In this work, we compare a byte-level (ByT5) and a wordpiece based (mT5) sequence to sequence model on the 51 languages of the MASSIVE multilingual semantic parsing dataset. We examine multiple experimental settings: (i) zero-shot, (ii) full gold data and (iii) zero-shot with synthetic data. By leveraging a state-of-the-art label projection method for machine translated examples, we are able to reduce the gap in exact match accuracy to only 5 points with respect to a model trained on gold data from all the languages. We additionally provide insights on the cross-lingual transfer of ByT5 and show how the model compares with respect to mT5 across all parameter sizes.
• Abstract（参考訳）: トークンフリーアプローチは、一連のワードとスパンレベルタスクにうまく適用されている。 そこで本研究では,MASSIVE多言語意味解析データセットの51言語における単語レベル (ByT5) とワードピースベース (mT5) のシーケンスモデルを比較した。 複数の実験的な設定を調べます (i)ゼロショット。 (二)金の全データ及び (iii)合成データによるゼロショット。 機械翻訳例に対する最先端のラベル投影法を用いることで,全言語からのゴールドデータに基づいてトレーニングされたモデルに対して,正確なマッチング精度の差をわずか5ポイントに削減することができる。 さらに、ByT5の言語間移動に関する洞察を与え、モデルがすべてのパラメータサイズでmT5と比較してどうかを示す。

関連論文リスト

• MrT5: Dynamic Token Merging for Efficient Byte-level Language Models [50.46453950887946]
  この作業はより効率的なBYT5の派生であるMergeT5(MergeT5)を導入している。 MrT5はトークン削除機構をエンコーダに統合し、入力シーケンスの長さを動的に短縮する。 英語のテキストでトレーニングすると、MrT5はその削除機能を複数の言語でゼロショットで転送する機能を示している。
  論文  参考訳（メタデータ） (2024-10-28T06:14:12Z)
• A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
  本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。 我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。 同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-06T09:37:27Z)
• mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations [54.42422445568523]
  mmT5はモジュール型多言語シーケンス・ツー・シーケンスモデルである。 言語固有の情報を言語に依存しない情報から切り離す。 mT5と比較して、mT5はゼロショット設定で正しい言語でテキストを生成する率を7%から99%に向上させる。
  論文  参考訳（メタデータ） (2023-05-23T16:38:01Z)
• Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation [9.736284584478032]
  特に微調整データに制限がある場合の翻訳における文字レベルのモデリングの有効性を示す。 モデル予測の駆動におけるソーステキストの重要性を評価する一方で,ByT5内の単語レベルのパターンを強調した。 我々は、バイトモデルの効率トレードオフを評価し、翻訳品質を高めるために、非時間クリティカルなシナリオでの使用法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T00:50:19Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• nmT5 -- Is parallel data still relevant for pre-training massively multilingual language models? [9.560948239388662]
  本研究は,mT5事前学習における並列データの導入が及ぼす影響について考察する。 機械翻訳などの目的を持つマルチタスク言語モデリングは,性能向上のための簡単な方法であることがわかった。
  論文  参考訳（メタデータ） (2021-06-03T23:12:27Z)
• mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs [51.67970832510462]
  翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-18T03:24:07Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。