論文の概要: Pre-trained Models Perform the Best When Token Distributions Follow Zipf's Law

• arxiv url: http://arxiv.org/abs/2507.22543v1
• Date: Wed, 30 Jul 2025 10:16:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.140658
• Title: Pre-trained Models Perform the Best When Token Distributions Follow Zipf's Law
• Title（参考訳）: ジップフの法則に従えば, 事前学習モデルで最高の時分布が達成される
• Authors: Yanjin He, Qingkai Zeng, Meng Jiang,
• Abstract要約: Zipfの法則を用いてトークンの周波数分布を分析し,語彙サイズを決定する手法を提案する。 ダウンストリームタスク性能は、トークン分布がいかにパワー-ローな振る舞いに追従するかと相関し、Zipfianスケーリングとの整合がモデル効率と有効性の両方を改善することを示す。
• 参考スコア（独自算出の注目度）: 15.78540876600952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenization is a fundamental step in natural language processing (NLP) and other sequence modeling domains, where the choice of vocabulary size significantly impacts model performance. Despite its importance, selecting an optimal vocabulary size remains underexplored, typically relying on heuristics or dataset-specific choices. In this work, we propose a principled method for determining the vocabulary size by analyzing token frequency distributions through Zipf's law. We show that downstream task performance correlates with how closely token distributions follow power-law behavior, and that aligning with Zipfian scaling improves both model efficiency and effectiveness. Extensive experiments across NLP, genomics, and chemistry demonstrate that models consistently achieve peak performance when the token distribution closely adheres to Zipf's law, establishing Zipfian alignment as a robust and generalizable criterion for vocabulary size selection.
• Abstract（参考訳）: トークン化は自然言語処理(NLP)や他のシーケンスモデリング領域における基本的なステップであり、語彙サイズの選択はモデルの性能に大きな影響を及ぼす。 その重要性にも拘わらず、最適な語彙サイズを選択することは、通常、ヒューリスティックスやデータセット固有の選択に依存して、未調査のままである。 本研究では,Zipfの法則を用いてトークンの周波数分布を解析し,語彙サイズを決定する方法を提案する。 ダウンストリームタスク性能は、トークン分布がいかにパワー-ローな振る舞いに追従するかと相関し、Zipfianスケーリングとの整合がモデル効率と有効性の両方を改善することを示す。 NLP, ゲノミクス, 化学の広範な実験は, トークン分布がZipfの法則に密接に従えば, モデルが常にピーク性能を達成することを示した。

関連論文リスト

• Scaling LLM Pre-training with Vocabulary Curriculum [0.0]
  本稿では,語彙サイズに対して,対数線形スケーリングゲインによる事前学習効率を向上させる手法である語彙カリキュラム学習を導入する。 提案手法は,エントロピー誘導語彙拡張とモデル最適化を交互に行い,多様なトークン化粒度にまたがる変換可能な表現を学習する。 小規模GPTモデルによる実験により,スケーリング効率が向上し,動的トークン化の有効性が向上した。
  論文  参考訳（メタデータ） (2025-02-25T07:18:29Z)
• Over-Tokenized Transformer: Vocabulary is Generally Worth Scaling [10.985444895887207]
  本稿では,言語モデリング性能を向上させるために,入力語彙と出力語彙を分離するフレームワークであるOver-Tokenized Transformersを紹介する。 入力語彙サイズとトレーニング損失の関係を明らかにすることで,より大きな入力語彙がモデル性能を継続的に向上することを示す。 本研究は, スケーリング法則におけるトークン化の重要性を強調し, トークン化設計の実践的洞察を提供するものである。
  論文  参考訳（メタデータ） (2025-01-28T14:15:42Z)
• Zipfian Whitening [7.927385005964994]
  埋め込み空間の対称性をモデル化、修正、測定するためのほとんどのアプローチは、単語の周波数が一様であることを暗黙的に仮定する。 実際、単語頻度はZipfの法則として知られる非常に一様でない分布に従う。 Zipfの法則に従う経験的単語頻度によって重み付けされたPCA白化を行うことでタスク性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-11-01T15:40:19Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)
• The empirical structure of word frequency distributions [0.0]
  私は、ほとんどの言語で、ファーストネームが自然なコミュニケーションの分布を形成することを示します。 このパターンは、英語の名詞と動詞のコミュニケーション的分布において複製されることを示す。
  論文  参考訳（メタデータ） (2020-01-09T20:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。