論文の概要: Efficient Training of Language Models with Compact and Consistent Next Token Distributions

• arxiv url: http://arxiv.org/abs/2407.02819v1
• Date: Wed, 3 Jul 2024 05:40:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 15:35:05.838998
• Title: Efficient Training of Language Models with Compact and Consistent Next Token Distributions
• Title（参考訳）: コンパクトかつ一貫性のある次トークン分布を持つ言語モデルの効率的な学習
• Authors: Ashutosh Sathe, Sunita Sarawagi,
• Abstract要約: 我々は, コーパスを崩壊した$n$-gramの分布で事前集約することで, より良いモデルをより高速に訓練できることを示す。 我々の近似は、より大きなデータセットやモデルへのゲインのスケーラビリティを促進する。
• 参考スコア（独自算出の注目度）: 23.312920633391837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Maximizing the likelihood of the next token is an established, statistically sound objective for pre-training language models. In this paper we show that we can train better models faster by pre-aggregating the corpus with a collapsed $n$-gram distribution. Previous studies have proposed corpus-level $n$-gram statistics as a regularizer; however, the construction and querying of such $n$-grams, if done naively, prove to be costly and significantly impede training speed, thereby limiting their application in modern large language model pre-training. We introduce an alternative compact representation of the next token distribution that, in expectation, aligns with the complete $n$-gram distribution while markedly reducing variance across mini-batches compared to the standard next-token loss. Empirically, we demonstrate that both the $n$-gram regularized model and our approximation yield substantial improvements in model quality and convergence rate compared to existing methods. Furthermore, our approximation facilitates scalability of gains to larger datasets and models compared to the straightforward $n$-gram regularization method.
• Abstract（参考訳）: 次のトークンの可能性の最大化は、事前訓練された言語モデルのための確立された統計的に健全な目標である。 本稿では, コーパスを崩壊した$n$-gramの分布で事前集約することで, より良いモデルをより高速に学習できることを示す。 従来の研究では、正規化子としてコーパスレベルの$n$-gram統計法を提案したが、そのような$n$-gramの構築とクエリは、仮に行われると、コストがかかり、トレーニング速度が著しく阻害されることが証明され、現代の大規模言語モデルの事前訓練における適用が制限される。 我々は,次のトークン分布の別のコンパクトな表現を導入する。これは期待通り,$n$-gramの分布と整合すると同時に,通常の次のトークン損失と比較して,ミニバッチ間の分散を著しく低減する。 経験的に、$n$-gram正規化モデルと近似の両方が、既存の手法と比較して、モデルの品質と収束率を大幅に改善することを示した。 さらに、我々の近似は、単純な$n$-gram正規化法と比較して、より大きなデータセットやモデルへのゲインのスケーラビリティを促進する。

関連論文リスト

• The N-Grammys: Accelerating Autoregressive Inference with Learning-Free Batched Speculation [48.52206677611072]
  投機的復号化は、より小さなドラフトモデルによって生成されたトークンを並列に検証することで、言語モデルの自己回帰生成を高速化することを目的としている。 単純な戦略の組み合わせは、異なるタスクに対して大きな推論スピードアップを達成できることを示す。
  論文  参考訳（メタデータ） (2024-11-06T09:23:50Z)
• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• TokenUnify: Scalable Autoregressive Visual Pre-training with Mixture Token Prediction [61.295716741720284]
  TokenUnifyは、ランダムトークン予測、次のトークン予測、次のトークン予測を統合する新しい事前学習手法である。 TokenUnifyと共同で,超高解像度の大規模電子顕微鏡画像データセットを構築した。 このデータセットには1億2000万以上の注釈付きボクセルが含まれており、これまでで最大のニューロンセグメンテーションデータセットとなっている。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
  ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。 スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。 複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
  論文  参考訳（メタデータ） (2023-04-25T09:23:43Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
  密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。 我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-09T18:57:37Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。