論文の概要: Byte Pair Encoding is Suboptimal for Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2004.03720v2
• Date: Mon, 5 Oct 2020 17:35:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 00:07:26.195814
• Title: Byte Pair Encoding is Suboptimal for Language Model Pretraining
• Title（参考訳）: バイトコードペアエンコーディングは言語モデルの事前学習に最適である
• Authors: Kaj Bostrom and Greg Durrett
• Abstract要約: 一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
• 参考スコア（独自算出の注目度）: 49.30780227162387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of pretrained transformer language models (LMs) in natural language processing has led to a wide range of pretraining setups. In particular, these models employ a variety of subword tokenization methods, most notably byte-pair encoding (BPE) (Sennrich et al., 2016; Gage, 1994), the WordPiece method (Schuster and Nakajima, 2012), and unigram language modeling (Kudo, 2018), to segment text. However, to the best of our knowledge, the literature does not contain a direct evaluation of the impact of tokenization on language model pretraining. We analyze differences between BPE and unigram LM tokenization, finding that the latter method recovers subword units that align more closely with morphology and avoids problems stemming from BPE's greedy construction procedure. We then compare the fine-tuned task performance of identical transformer masked language models pretrained with these tokenizations. Across downstream tasks and two languages (English and Japanese), we find that the unigram LM tokenization method matches or outperforms BPE. We hope that developers of future pretrained LMs will consider adopting the unigram LM method over the more prevalent BPE.
• Abstract（参考訳）: 自然言語処理における事前学習型トランスフォーマー言語モデル(LM)の成功は、広範囲の事前学習設定につながった。 特にこれらのモデルは、バイトペア符号化 (bpe) (sennrich et al., 2016; gage, 1994)、ワードピース法 (schuster and nakajima, 2012)、ユニグラム言語モデリング (kudo, 2018) など、様々なサブワードトークン化手法を採用している。 しかし,本論文は,言語モデル事前学習におけるトークン化の影響を直接評価するものではない。 我々は,BPEと一グラムLMトークン化の違いを分析し,BPEの難解な建設手順から生じる問題を回避し,形態とより密接に整合したサブワード単位を復元する。 次に,これらのトークン化を事前学習した同一トランスフォーマーマスク言語モデルのタスク性能を比較する。 ダウンストリームタスクと2つの言語(英語と日本語)にまたがって、unigram lmトークン化メソッドがbpeと一致するか、より優れています。 我々は、将来の訓練済みlmsの開発者は、より一般的なbpeよりもunigram lmメソッドを採用することを検討することを望んでいる。

関連論文リスト

• Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models [7.782346535009883]
  本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:10:39Z)
• PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
  本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。 実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T18:19:26Z)
• Multilingual Sentence Transformer as A Multilingual Word Aligner [15.689680887384847]
  多言語文 Transformer LaBSE が強い多言語単語アライメント器であるかどうかを検討する。 7つの言語対の実験結果から、最も優れたコーディネータは、すべての品種の過去の最先端モデルよりも優れていることが示された。 コーディネータは1つのモデルで異なる言語ペアをサポートし、ファインタニングプロセスに現れないゼロショット言語ペア上で新しい最先端の言語ペアを実現する。
  論文  参考訳（メタデータ） (2023-01-28T09:28:55Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• PERT: Pre-training BERT with Permuted Language Model [24.92527883997854]
  PERT は Permuted Language Model (PerLM) で訓練された BERT のような自動エンコーディングモデルである 入力テキストのパーセンテージをパーミュレートし、トレーニングの目的は、元のトークンの位置を予測することである。 我々は中国語と英語のNLUベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-03-14T07:58:34Z)
• Training Multilingual Pre-trained Language Model with Byte-level Subwords [41.52056437015399]
  BBPE(Byte-Level BPE)を用いた多言語事前学習言語モデルの訓練実践について述べる。 この実験では、NEZHAのアーキテクチャを基礎となるプリトレーニング言語モデルとして採用し、NEZHAがバイトレベルのサブワードを一貫して訓練していることを示した。 我々は,バイトレベルの語彙構築ツールと多言語事前学習言語モデルのソースコードをリリースする。
  論文  参考訳（メタデータ） (2021-01-23T10:01:28Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。