論文の概要: No Single Tokenizer Feature Reliably Predicts Downstream Language Model Performance

• arxiv url: http://arxiv.org/abs/2610.21679v2
• Date: Tue, 20 Oct 2026 12:09:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.212513
• Title: No Single Tokenizer Feature Reliably Predicts Downstream Language Model Performance
• Title（参考訳）: ダウンストリーム言語モデルのパフォーマンスを確実に予測するシングルトケナイザ機能は存在しない
• Abstract要約: 9つの異なる言語で訓練された200の言語モデルを分析します。 モデルファミリ、タスク、言語間で、ダウンストリームのパフォーマンスを常に予測する人はいません。 新しいメトリクスは、既存のメトリクスが見逃しているトークン化ツールの品質の側面をキャプチャできる。
• 参考スコア（独自算出の注目度）: 2.3683720181931016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tokenization is a critical component of the language modeling pipeline, but it is poorly understood. Tokenizers can impact downstream performance, but there is currently mixed evidence about which tokenizer features predict a better language model without requiring a full training run. In this paper, we analyze approximately 200 language models trained on nine different languages. We evaluate both models and their tokenizers and test whether there is a relationship between any proposed intrinsic tokenizer evaluations and model performance, as measured by a wide variety of benchmarks. Despite the quantity and variety of proposed intrinsic tokenizer metrics, we find that none consistently predicts downstream performance across model families, tasks, and languages. This motivates the need for novel tokenizer evaluation metrics and approaches. We propose novel linguistically grounded metric introduced in this work shows that new metrics can capture aspects of tokenizer quality that existing metrics miss, though their predictive power is likely to vary across model families, languages, and tasks.
• Abstract（参考訳）: トークン化は言語モデリングパイプラインの重要なコンポーネントであるが、あまり理解されていない。 トークンライザは下流のパフォーマンスに影響を与える可能性があるが、現在、完全なトレーニング実行を必要とせずに、どのトークンライザ機能がより良い言語モデルを予測できるかという証拠が混在している。 本稿では,9つの言語で訓練された約200の言語モデルを分析する。 各種ベンチマークを用いて,モデルおよびそれらのトークン化剤の両方を評価し,提案する固有のトークン化剤の評価とモデル性能の関係を検証した。 提案する固有トークン化指標の量と多様さにもかかわらず、モデルファミリ、タスク、言語間のダウンストリームのパフォーマンスを常に予測することは不可能である。 これは、新しいトークンー評価メトリクスとアプローチの必要性を動機付けている。 本研究で導入された新しい言語基盤メトリクスは、既存のメトリクスが見逃すトークン化品質の側面を捉えることができることを示しているが、それらの予測能力はモデルファミリー、言語、タスクによって異なる可能性が高い。

関連論文リスト

• TokEval: A Tokenizer Evaluation Suite [18.651247109977362]
  TokEvalはトークン化評価指標のフレームワークである。 制御言語モデル事前学習実験を行う。 結果のモデルをビット単位のバイト単位で評価する。
  論文  参考訳（メタデータ） (2026-08-18T17:52:52Z)
• Beyond Text Compression: Evaluating Tokenizers Across Scales [4.0253589606301174]
  トークン化器の選択は、英語のタスクに無視できる効果を持つが、多言語設定における一貫した性能差をもたらすことを示す。 我々はZipfの法則に着想を得た新しい固有のトークン化指標を提案し、テキスト圧縮よりも下流のパフォーマンスと強く相関する。
  論文  参考訳（メタデータ） (2025-06-03T17:35:56Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
  サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。 我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
  論文  参考訳（メタデータ） (2022-10-13T15:47:09Z)
• How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training? [86.48323488619629]
  トークン化学習コーパスにおいて,言語間でのデータ比が変化するにつれて,翻訳性能がどう変化するかを分析する。 言語が均等にサンプリングされる場合、比較的優れたパフォーマンスが観察されることが多いが、下流のパフォーマンスは、通常予想していたよりも、言語の不均衡に対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-29T17:50:36Z)
• Impact of Tokenization on Language Models: An Analysis for Turkish [2.4660652494309936]
  我々は、OSCARコーパスのトルコ分割におけるRoBERTa事前訓練手順を用いて、トークン化器および事前訓練中規模言語モデルを訓練する。 統計的実験により, モルフォロジーレベルのトークン化器は, 事実上のトークン化器で高い性能を示した。 語彙サイズを増大させることで,デファクトトークン化よりも形態素およびワードレベルのトークン化器の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2022-04-19T12:01:46Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。