論文の概要: Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5
for Machine Translation
- arxiv url: http://arxiv.org/abs/2302.14220v3
- Date: Fri, 26 Jan 2024 16:02:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 18:47:27.592902
- Title: Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5
for Machine Translation
- Title(参考訳): 文字レベルの翻訳は待つ価値があるか?
機械翻訳における ByT5 と mT5 の比較
- Authors: Lukas Edman, Gabriele Sarti, Antonio Toral, Gertjan van Noord, Arianna
Bisazza
- Abstract要約: 特に微調整データに制限がある場合の翻訳における文字レベルのモデリングの有効性を示す。
モデル予測の駆動におけるソーステキストの重要性を評価する一方で,ByT5内の単語レベルのパターンを強調した。
我々は、バイトモデルの効率トレードオフを評価し、翻訳品質を高めるために、非時間クリティカルなシナリオでの使用法を提案する。
- 参考スコア(独自算出の注目度): 9.736284584478032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained character-level and byte-level language models have been shown to
be competitive with popular subword models across a range of Natural Language
Processing (NLP) tasks. However, there has been little research on their
effectiveness for neural machine translation (NMT), particularly within the
popular pretrain-then-finetune paradigm. This work performs an extensive
comparison across multiple languages and experimental conditions of character-
and subword-level pretrained models (ByT5 and mT5, respectively) on NMT. We
show the effectiveness of character-level modeling in translation, particularly
in cases where fine-tuning data is limited. In our analysis, we show how
character models' gains in translation quality are reflected in better
translations of orthographically similar words and rare words. While evaluating
the importance of source texts in driving model predictions, we highlight
word-level patterns within ByT5, suggesting an ability to modulate word-level
and character-level information during generation. We conclude by assessing the
efficiency tradeoff of byte models, suggesting their usage in non-time-critical
scenarios to boost translation quality.
- Abstract(参考訳): 事前訓練された文字レベルおよびバイトレベルの言語モデルは、自然言語処理(NLP)タスクで一般的なサブワードモデルと競合することが示されている。
しかし、ニューラルネットワーク翻訳(NMT)の有効性についてはほとんど研究されていない。
この研究は、NMT上の複数の言語と、文字レベルとサブワードレベルの事前訓練されたモデル(それぞれByT5とmT5)の実験的条件を広範囲に比較する。
特に微調整データに制限がある場合の翻訳における文字レベルのモデリングの有効性を示す。
本研究では, 文字モデルの翻訳品質の向上が, 正書法的に類似した単語や希少な単語の翻訳に反映されることを示す。
モデル予測におけるソーステキストの重要性を評価しながら、byt5内の単語レベルのパターンに注目し、生成中の単語レベルと文字レベルの情報を変調する能力を提案する。
最後に、バイトモデルの効率的トレードオフを評価し、翻訳品質を高めるために非時間クリティカルなシナリオでの使用を示唆する。
関連論文リスト
- Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。
ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。
6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
論文 参考訳(メタデータ) (2024-10-25T09:15:54Z) - A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。
我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。
同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
論文 参考訳(メタデータ) (2023-12-06T09:37:27Z) - Machine Translation for Ge'ez Language [0.0]
Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。
言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。
また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
論文 参考訳(メタデータ) (2023-11-24T14:55:23Z) - Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。
我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。
OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文 参考訳(メタデータ) (2023-05-04T12:21:52Z) - Evaluating Byte and Wordpiece Level Models for Massively Multilingual
Semantic Parsing [3.431659287330068]
バイトレベル(ByT5)とワードピースベース(mT5)をMASSIVE多言語意味解析データセットの51言語におけるシーケンスモデルと比較する。
すべての言語からのゴールドデータに基づいてトレーニングされたモデルに対して、正確なマッチング精度のギャップを5ポイントに縮めることができます。
論文 参考訳(メタデータ) (2022-12-14T13:48:32Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳(メタデータ) (2022-05-18T09:17:14Z) - Impact of Tokenization on Language Models: An Analysis for Turkish [2.4660652494309936]
我々は、OSCARコーパスのトルコ分割におけるRoBERTa事前訓練手順を用いて、トークン化器および事前訓練中規模言語モデルを訓練する。
統計的実験により, モルフォロジーレベルのトークン化器は, 事実上のトークン化器で高い性能を示した。
語彙サイズを増大させることで,デファクトトークン化よりも形態素およびワードレベルのトークン化器の性能が向上することがわかった。
論文 参考訳(メタデータ) (2022-04-19T12:01:46Z) - Few-shot learning through contextual data augmentation [74.20290390065475]
機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。
一つの例から5つの例への適応が可能であることを示す。
本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
論文 参考訳(メタデータ) (2021-03-31T09:05:43Z) - mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。
101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
論文 参考訳(メタデータ) (2020-10-22T17:58:14Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳(メタデータ) (2020-10-12T19:42:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。