論文の概要: Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs

• arxiv url: http://arxiv.org/abs/2402.14903v1
• Date: Thu, 22 Feb 2024 18:14:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 16:38:21.342124
• Title: Tokenization counts: the impact of tokenization on arithmetic in frontier LLMs
• Title（参考訳）: トークン化数:フロンティアLLMの算術におけるトークン化の影響
• Authors: Aaditya K. Singh, DJ Strouse
• Abstract要約: トークン化とは、入力テキストを入力トークンに分割することである。 この選択が算術的タスクを用いて数値推論に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 3.6722413665749674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenization, the division of input text into input tokens, is an often overlooked aspect of the large language model (LLM) pipeline and could be the source of useful or harmful inductive biases. Historically, LLMs have relied on byte pair encoding, without care to specific input domains. With the increased use of LLMs for reasoning, various number-specific tokenization schemes have been adopted, with popular models like LLaMa and PaLM opting for single-digit tokenization while GPT-3.5 and GPT-4 have separate tokens for each 1-, 2-, and 3-digit numbers. In this work, we study the effect this choice has on numerical reasoning through the use of arithmetic tasks. We consider left-to-right and right-to-left tokenization for GPT-3.5 and -4, finding that right-to-left tokenization (enforced by comma separating numbers at inference time) leads to largely improved performance. Furthermore, we find that model errors when using standard left-to-right tokenization follow stereotyped error patterns, suggesting that model computations are systematic rather than approximate. We show that the model is able to convert between tokenizations easily, thus allowing chain-of-thought-inspired approaches to recover performance on left-to-right tokenized inputs. We also find the gap between tokenization directions decreases when models are scaled, possibly indicating that larger models are better able to override this tokenization-dependent inductive bias. In summary, our work performs the first study of how number tokenization choices lead to differences in model performance on arithmetic tasks, accompanied by a thorough analysis of error patterns. We hope this work inspires practitioners to more carefully ablate number tokenization-related choices when working towards general models of numerical reasoning.
• Abstract（参考訳）: 入力テキストを入力トークンに分割するトークン化(Tokenization)は、大きな言語モデル(LLM)パイプラインの見落とされがちな側面であり、有用なあるいは有害な帰納的バイアスの源となる。 歴史的に、LLMは特定の入力ドメインを気にすることなくバイトペアエンコーディングに依存してきた。 LLaMaやPaLMのような一般的なモデルはシングル桁のトークン化を選択し、GPT-3.5やGPT-4は1桁、2桁、3桁の異なるトークンを持つ。 本研究では,この選択が算術的タスクを用いて数値推論に与える影響について検討する。 GPT-3.5 と -4 の左から左へのトークン化について検討し、右から左へのトークン化(推測時のコンマ分離数による)が性能を大幅に向上させることを示した。 さらに,標準左から右へのトークン化を用いた場合のモデル誤差はステレオタイプ誤りパターンに従っており,モデル計算が近似ではなく体系的であることを示唆している。 これにより,左から右へのトークン化インプットにおいて,チェーン・オブ・インスパイアされたアプローチで性能を回復できることを示す。 また、モデルをスケールするとトークン化方向のギャップが減少し、大きなモデルがトークン化に依存した帰納バイアスをオーバーライドできることを示す可能性がある。 要約すると、本研究は、数値化選択が演算タスクにおけるモデル性能の差にどのようにつながるかに関する最初の研究を行い、エラーパターンを徹底的に分析する。 この研究によって、数値推論の一般的なモデルに向けて作業する場合に、より注意深く数字トークン化に関する選択を省略できることを願っている。

関連論文リスト

• Regress, Don't Guess -- A Regression-like Loss on Number Tokens for Language Models [2.5346260093097017]
  本稿では,言語モデルに対するトークン損失の2つのバージョンを示す。 1つ目は、基底真理トークン値と予測クラス確率の重み付け和との間の損失$L_p$である。 第2の損失は、予測出力確率の分布と基底真理分布の間のワッサーシュタイン-1距離を最小化する。
  論文  参考訳（メタデータ） (2024-11-04T13:43:24Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• Induced Natural Language Rationales and Interleaved Markup Tokens Enable Extrapolation in Large Language Models [8.166629393064097]
  トレーニング例として提示されるものよりも長いシーケンスの予測を行う能力は、ディープラーニングモデルにとって難しい問題である。 最近の研究は、この制限が最先端のTransformerベースのモデルで持続していることを示している。 大規模言語モデルがアーキテクチャや訓練手順を変更することなく外挿に成功できることを実証する。
  論文  参考訳（メタデータ） (2022-08-24T11:25:27Z)
• When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition [57.51793420986745]
  我々は、手書き数式認識(HMER)のための非従来型ネットワークであるCounting-Aware Network(CAN)を提案する。 シンボルレベルの位置アノテーションを使わずに各シンボルクラスの数を予測できる弱教師付きカウントモジュールを設計する。 HMERのベンチマークデータセットの実験により、エンコーダ・デコーダモデルの予測誤差を修正するために、共同最適化とカウント結果の両方が有用であることが検証された。
  論文  参考訳（メタデータ） (2022-07-23T08:39:32Z)
• You should evaluate your language model on marginal likelihood overtokenisations [5.824498637088864]
  言語モデルはトークン化よりも限界的な可能性に基づいて評価されるべきである、と我々は主張する。 我々は,英語とドイツ語の事前学習モデルについて,最良語化と限界語化の両面で評価した。
  論文  参考訳（メタデータ） (2021-09-06T15:37:02Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。