論文の概要: Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2410.03258v1
• Date: Fri, 4 Oct 2024 09:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:28:42.559059
• Title: Adaptive BPE Tokenization for Enhanced Vocabulary Adaptation in Finetuning Pretrained Language Models
• Title（参考訳）: 事前学習言語モデルにおける語彙適応強化のための適応的BPEトークン化
• Authors: Gunjan Balde, Soumyadeep Roy, Mainack Mondal, Niloy Ganguly,
• Abstract要約: Byte-Pair を用いた語彙適応手法の基本的な限界を示す。 (BPE)エキスパートドメインへの微調整事前学習言語モデル(PLM)のトークン化方式。 本稿では,BPEのトークン化フェーズが変更され,文字レベルでのトークン化の前に,付加(ターゲット)語彙上で最も長い文字列マッチングが実行されるAdaptBPEを提案する。
• 参考スコア（独自算出の注目度）: 26.442558912559658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we show a fundamental limitation in vocabulary adaptation approaches that use Byte-Pair Encoding (BPE) tokenization scheme for fine-tuning pretrained language models (PLMs) to expert domains. Current approaches trivially append the target domain-specific vocabulary at the end of the PLM vocabulary. This approach leads to a lower priority score and causes sub-optimal tokenization in BPE that iteratively uses merge rules to tokenize a given text. To mitigate this issue, we propose AdaptBPE where the BPE tokenization initialization phase is modified to first perform the longest string matching on the added (target) vocabulary before tokenizing at the character level. We perform an extensive evaluation of AdaptBPE versus the standard BPE over various classification and summarization tasks; AdaptBPE improves by 3.57% (in terms of accuracy) and 1.87% (in terms of Rouge-L), respectively. AdaptBPE for MEDVOC works particularly well when reference summaries have high OOV concentration or are longer in length. We also conduct a human evaluation, revealing that AdaptBPE generates more relevant and more faithful summaries as compared to MEDVOC. We make our codebase publicly available at https://github.com/gb-kgp/adaptbpe.
• Abstract（参考訳）: 本研究では, マイクロペア符号化(BPE)トークン化方式を用いた語彙適応手法の基本的制限を, エキスパートドメインへの微調整事前学習言語モデル (PLM) に適用する。 現在のアプローチでは、PLM語彙の最後にターゲットドメイン固有の語彙を自明に付加している。 このアプローチは優先度の低いスコアをもたらし、与えられたテキストのトークン化にマージルールを反復的に使用するBPEの準最適トークン化を引き起こす。 この問題を軽減するために,BPEトークン化初期化フェーズを修正したAdaptBPEを提案する。 各種分類タスクと要約タスクに対して,AdaptBPEと標準BPEを広範囲に評価し,AdaptBPEの精度は3.57%,Rue-Lでは1.87%向上した。 MEDVOCのAdaptBPEは、参照サマリーがOOV濃度が高い場合や長さが長い場合、特にうまく機能する。 また,AdaptBPEがMEDVOCと比較して,より関連性が高く忠実な要約を生成することを明らかにする。 コードベースはhttps://github.com/gb-kgp/adaptbpe.comで公開しています。

関連論文リスト

• LBPE: Long-token-first Tokenization to Improve Large Language Models [26.3619552256488]
  意味情報に富んだ長いトークンは、短いトークンに比べてトークン化されたデータセットに少ない。 符号化プロセス中に長いトークンを優先するLBPEを提案する。 多様な言語モデリングタスクに対する実験は、LBPEが元のBPEよりも一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-08T12:03:36Z)
• BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training [8.012203293561196]
  Picky BPE(ピッキー・BPE)は、トークンーザのトレーニング中に語彙の洗練を行う改良型BPEアルゴリズムである。 本手法は語彙効率を向上し,未学習のトークンを排除し,テキスト圧縮を損なわない。
  論文  参考訳（メタデータ） (2024-09-06T20:12:34Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• MEDVOC: Vocabulary Adaptation for Fine-tuning Pre-trained Language Models on Medical Text Summarization [26.442558912559658]
  本研究は,学習前言語モデル(PLM)を微調整するための動的語彙適応戦略であるMEDVOCを提案する。 要約における既存の領域適応アプローチとは対照的に、MEDVOCは語彙を最適化可能なパラメータとして扱う。 MEDVOCはより忠実な医療サマリーを生成する。
  論文  参考訳（メタデータ） (2024-05-07T10:00:00Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
  言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。 我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
  論文  参考訳（メタデータ） (2023-11-15T10:40:45Z)
• SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation [51.881877192924414]
  サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである 本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。 SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
  論文  参考訳（メタデータ） (2023-07-31T04:38:47Z)
• Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation [80.38621085548013]
  本稿では,文をサブワード単位にトークン化するための新しいセグメンテーションアルゴリズムである動的プログラミング(DPE)を提案する。 ターゲットセグメンテーションを見つけるために、正確なログ境界推定と正確なMAP推定を可能にする混合文字サブワード変換器を提案する。
  論文  参考訳（メタデータ） (2020-05-03T05:00:50Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。