論文の概要: LBPE: Long-token-first Tokenization to Improve Large Language Models

• arxiv url: http://arxiv.org/abs/2411.05504v1
• Date: Fri, 08 Nov 2024 12:03:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:54:44.763758
• Title: LBPE: Long-token-first Tokenization to Improve Large Language Models
• Title（参考訳）: LBPE:大規模言語モデルを改善するための長距離ファーストトークン化
• Authors: Haoran Lian, Yizhe Xiong, Zijia Lin, Jianwei Niu, Shasha Mo, Hui Chen, Peng Liu, Guiguang Ding,
• Abstract要約: 意味情報に富んだ長いトークンは、短いトークンに比べてトークン化されたデータセットに少ない。 符号化プロセス中に長いトークンを優先するLBPEを提案する。 多様な言語モデリングタスクに対する実験は、LBPEが元のBPEよりも一貫して優れていることを示した。
• 参考スコア（独自算出の注目度）: 26.3619552256488
• License:
• Abstract: The prevalent use of Byte Pair Encoding (BPE) in Large Language Models (LLMs) facilitates robust handling of subword units and avoids issues of out-of-vocabulary words. Despite its success, a critical challenge persists: long tokens, rich in semantic information, have fewer occurrences in tokenized datasets compared to short tokens, which can result in imbalanced learning issue across different tokens. To address that, we propose LBPE, which prioritizes long tokens during the encoding process. LBPE generates tokens according to their reverse ranks of token length rather than their ranks in the vocabulary, granting longer tokens higher priority during the encoding process. Consequently, LBPE smooths the frequency differences between short and long tokens, and thus mitigates the learning imbalance. Extensive experiments across diverse language modeling tasks demonstrate that LBPE consistently outperforms the original BPE, well demonstrating its effectiveness.
• Abstract（参考訳）: 大きな言語モデル (LLMs) におけるByte Pair Encoding (BPE) の一般的な使用は、サブワード単位の堅牢なハンドリングを促進し、語彙外単語の問題を回避する。 その成功にもかかわらず、重要な課題は続く: 意味情報に富んだ長いトークンは、短いトークンに比べてトークン化されたデータセットで発生が少ないため、異なるトークン間で不均衡な学習問題が発生する可能性がある。 そこで我々は,符号化処理中に長いトークンを優先するLBPEを提案する。 LBPEは、トークン長の逆のランクに従ってトークンを生成し、エンコーディングプロセス中により長いトークンを優先的に付与する。 その結果、LBPEは短いトークンと長いトークンの周波数差を円滑にし、学習の不均衡を緩和する。 多様な言語モデリングタスクにわたる大規模な実験により、LBPEは元のBPEよりも一貫して優れており、その有効性を示している。

関連論文リスト

• Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers [32.274579719726546]
  トークン化は、人間可読テキストをモデル可読な離散トークンでブリッジする重要なステップである。 近年の研究では、トークン化剤が不要なモデル挙動を引き出すために利用できることが判明している。 非完全トークン、すなわち、バイトレベルバイトペア符号化(BPE)トークン化(英語版)による不完全トークン、すなわち、不完全トークンについて検討する。
  論文  参考訳（メタデータ） (2024-10-31T07:19:44Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Tokenization Is More Than Compression [14.939912120571728]
  Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
  論文  参考訳（メタデータ） (2024-02-28T14:52:15Z)
• Toucan: Token-Aware Character Level Language Modeling [44.85590844938571]
  トウカン(Toucan)は、文字レベルのモデルを拡張して「トウカン・アウェア(token-aware)」させる方法である。 言語モデルの性能を損なうことなく文字生成の大幅な高速化を示す。 我々のアプローチは、単一のアイテムとしてトークン化された長いシーケンスの量に繋がる。
  論文  参考訳（メタデータ） (2023-11-15T00:57:51Z)
• Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition [20.926163659469587]
  LMのための新しいメモリ拡張ルックアップ辞書に基づくトランスフォーマーアーキテクチャを提案する。 新しく導入されたルックアップ辞書は、トレーニングセットにリッチなコンテキスト情報を組み込んでおり、ロングテールトークンを正確に予測するのに不可欠である。 提案手法は,ワード/文字誤り率とテールトークン誤り率の両方に大きな差で,ベースライントランスフォーマーLMより優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-30T22:26:57Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Token-level Adaptive Training for Neural Machine Translation [84.69646428587548]
  異なるトークンが異なる周波数で現れるため、自然言語にはトークンの不均衡現象が存在する。 バニラNMTモデルは、通常、異なる周波数のターゲットトークンに対して、自明な等重の目的を採用する。 低周波トークンは、無視された後に翻訳品質に影響を与える重要な意味情報を運ぶことができる。
  論文  参考訳（メタデータ） (2020-10-09T05:55:05Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。