論文の概要: Tokenization Is More Than Compression

• arxiv url: http://arxiv.org/abs/2402.18376v2
• Date: Mon, 07 Oct 2024 13:17:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:43:07.455623
• Title: Tokenization Is More Than Compression
• Title（参考訳）: トークン化は圧縮以上のもの
• Authors: Craig W. Schmidt, Varshini Reddy, Haoran Zhang, Alec Alameddine, Omri Uzan, Yuval Pinter, Chris Tanner,
• Abstract要約: Byte-Pairのような既存のトークン化アプローチ。 (BPE)はデータ圧縮の分野に由来する。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。
• 参考スコア（独自算出の注目度）: 14.939912120571728
• License:
• Abstract: Tokenization is a foundational step in natural language processing (NLP) tasks, bridging raw text and language models. Existing tokenization approaches like Byte-Pair Encoding (BPE) originate from the field of data compression, and it has been suggested that the effectiveness of BPE stems from its ability to condense text into a relatively small number of tokens. We test the hypothesis that fewer tokens lead to better downstream performance by introducing PathPiece, a new tokenizer that segments a document's text into the minimum number of tokens for a given vocabulary. Through extensive experimentation we find this hypothesis not to be the case, casting doubt on the understanding of the reasons for effective tokenization. To examine which other factors play a role, we evaluate design decisions across all three phases of tokenization: pre-tokenization, vocabulary construction, and segmentation, offering new insights into the design of effective tokenizers. Specifically, we illustrate the importance of pre-tokenization and the benefits of using BPE to initialize vocabulary construction. We train 64 language models with varying tokenization, ranging in size from 350M to 2.4B parameters, all of which are made publicly available.
• Abstract（参考訳）: トークン化は自然言語処理(NLP)タスクの基本的なステップであり、生のテキストと言語モデルをブリッジする。 Byte-Pair Encoding (BPE)のような既存のトークン化手法は、データ圧縮の分野から来ており、BPEの有効性はテキストを比較的少数のトークンに凝縮する能力に起因していることが示唆されている。 PathPieceは、文書のテキストを与えられた語彙に対して最小のトークン数に分割する新しいトークンライザである。 広範な実験を通じて、この仮説はそうではないことが分かり、効果的なトークン化の理由の理解に疑問を呈する。 トークン化の3つの段階(事前トークン化、語彙構成、セグメンテーション)にまたがる設計決定を評価し、効果的なトークン化器の設計に関する新たな洞察を提供する。 具体的には,事前学習の重要性と,語彙構築を初期化するためのBPEの利点について述べる。 トークン化の異なる64の言語モデルをトレーニングし、そのサイズは350Mから2.4Bのパラメータで、すべて公開されています。

関連論文リスト

• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• Batching BPE Tokenization Merges [55.2480439325792]
  BatchBPEはByte PairアルゴリズムのPython実装である。 ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-08-05T09:37:21Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding with Simple and Effective Scaffold Token Removal [25.406520591282366]
  そこで本研究では,パラメータフリー,計算軽度,実装が容易なオリジナルのBPEによる動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングタスクと機械翻訳タスクにわたる広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance [34.641079276516926]
  我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。 事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。 本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
  論文  参考訳（メタデータ） (2024-03-10T17:02:53Z)
• Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models [0.0]
  トークン化は言語モデル(LM)のパフォーマンスに大きく影響する。 本稿では,トークンと型とのバランスを,単語レベルからサブワードレベルへのトークン化の進化を追究する。 Less-is-Better (LiB) モデルは LLM トークンの新たなアプローチになり得る。
  論文  参考訳（メタデータ） (2024-03-01T10:03:07Z)
• Task-Adaptive Tokenization: Enhancing Long-Form Text Generation Efficacy in Mental Health and Beyond [66.07002187192448]
  本稿では,下流タスクの特定部分に生成パイプラインを適応させる手法として,タスク適応型トークン化を提案する。 専門用語を構築するための戦略を導入し、語彙統合プロトコルを導入する。 タスク適応型トークン化アプローチでは、最大60%のトークンを使用しながら、生成パフォーマンスが大幅に向上することが分かりました。
  論文  参考訳（メタデータ） (2023-10-09T00:20:59Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。