論文の概要: Patch-Level Training for Large Language Models

• arxiv url: http://arxiv.org/abs/2407.12665v1
• Date: Wed, 17 Jul 2024 15:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-18 16:35:48.573406
• Title: Patch-Level Training for Large Language Models
• Title（参考訳）: 大規模言語モデルのパッチレベル学習
• Authors: Chenze Shao, Fandong Meng, Jie Zhou,
• Abstract要約: 本稿では,Large Language Models (LLM) に対するパッチレベルのトレーニングを紹介する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 これに続いて、モデルは推論モードに合わせて、残りのトレーニングデータに対するトークンレベルのトレーニングを継続する。
• 参考スコア（独自算出の注目度）: 69.67438563485887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) achieve remarkable progress in language understanding and generation, their training efficiency has become a critical concern. Traditionally, LLMs are trained to predict the next token in a sequence. Despite the success of token-level training, it suffers from considerable computational costs due to the need to process an extensive number of tokens. To mitigate this issue, this paper introduces patch-level training for LLMs, which reduces the sequence length by compressing multiple tokens into a single patch. During patch-level training, we feed the language model shorter sequences of patches and train it to predict the next patch, thereby processing the majority of the training data at a significantly reduced computational cost. Following this, the model continues token-level training on the remaining training data to align with the inference mode. Experiments on a diverse range of models (370M-2.7B parameters) demonstrate that patch-level training can reduce overall computational costs to 0.5$\times$, without compromising the model performance compared to token-level training. Source code: \url{https://github.com/shaochenze/PatchTrain}.
• Abstract（参考訳）: 大きな言語モデル(LLM)は言語理解と生成において顕著な進歩を遂げているため、その訓練効率は重要な問題となっている。 伝統的に、LLMはシーケンス内の次のトークンを予測するために訓練される。 トークンレベルのトレーニングの成功にもかかわらず、大量のトークンを処理する必要があるため、かなりの計算コストに悩まされる。 この問題を軽減するために,複数のトークンを単一パッチに圧縮することでシーケンス長を削減できるLLMのパッチレベルトレーニングを提案する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 これに続いて、モデルは推論モードに合わせて、残りのトレーニングデータに対するトークンレベルのトレーニングを継続する。 様々なモデル(370M-2.7Bパラメータ)の実験では、パッチレベルのトレーニングは、トークンレベルのトレーニングに比べてモデルのパフォーマンスを損なうことなく、全体的な計算コストを0.5$\times$に削減できることを示した。 ソースコード: \url{https://github.com/shaochenze/PatchTrain}。

関連論文リスト

• Overtrained Language Models Are Harder to Fine-Tune [64.44743256512237]
  大規模言語モデルは、成長を続けるトークン予算に基づいて事前訓練されている。 事前トレーニングの拡張により、モデルを微調整しにくくなり、最終的なパフォーマンスが低下することを示した。
  論文  参考訳（メタデータ） (2025-03-24T23:11:56Z)
• Training Dynamics of a 1.7B LLaMa Model: A Data-Efficient Approach [10.39475177812483]
  約200億個のデータに対するDMaS-LLaMa-Liteのトレーニングから得られた洞察を共有します。 我々は、検証損失レベルとダウンストリームベンチマークの進化が、不整合テキストから、流動的で文脈に根ざしたアウトプットへの移行を反映しているかを記述した、完全なトレーニングの軌跡を詳述する。 これらの経験を詳述し、トレーニングログ、チェックポイント、サンプルアウトプットを提供することで、将来の研究者や実践者が事前学習戦略を洗練することを目指している。
  論文  参考訳（メタデータ） (2024-12-17T21:15:52Z)
• MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression [5.5795785998430185]
  MultiTokは、ユニバーサルなLempel-Ziv-Welchデータ圧縮にインスパイアされた新しいトークンツールである。 我々は、MultiTokが、トークン化としてBERT標準に匹敵する性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-10-28T21:24:51Z)
• A Learning Rate Path Switching Training Paradigm for Version Updates of Large Language Models [35.44133682914159]
  LLM(Large Language Models)のバージョン更新のためのトレーニングパラダイムには、スクラッチ(PTFS)からの事前トレーニング(Continuousal Pre-training)やCPT(Continuous Pre-training)などがある。 予備実験では、PTFSはトレーニング前のパフォーマンスが向上し、CPTはトレーニングコストが低下することを示した。 我々のパラダイムは,LLMを最大学習率で事前学習する1つの主要なパスと,新たに追加されたトレーニングデータでLLMを更新する複数の分岐パスから構成される。
  論文  参考訳（メタデータ） (2024-10-05T10:15:48Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Instruction Pre-Training: Language Models are Supervised Multitask Learners [115.95022434390181]
  本稿では,事前学習言語モデル(LM)に対して,命令応答対を用いた大規模生コーパスを付加するフレームワークを提案する。 実験では,40以上のタスクカテゴリをカバーする2億の命令応答ペアを合成し,インストラクション事前学習の有効性を検証する。
  論文  参考訳（メタデータ） (2024-06-20T16:55:33Z)
• Evolving Subnetwork Training for Large Language Models [19.54861230097017]
  我々は、新しいトレーニングパラダイム、Evolving Subnetwork Training (EST)を提案する。 ESTサンプルは、大きな言語モデルのレイヤから、そして各レイヤで一般的に使用されるモジュールから作成される。 GPT2モデルのトレーニングとTinyLlamaモデルのトレーニングにESTを適用した結果,GPT2の26.7%のFLOPとTinyLlamaの25.0%の削減を実現した。
  論文  参考訳（メタデータ） (2024-06-11T05:44:56Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models [40.992566245706996]
  トークンによる学習難易度を緩和するMiLe Loss関数を提案する。 我々は468M,1.2B,6.7Bパラメータの異なるスケールで生成言語モデルを訓練する。 実験により、提案されたMiLe Lossを組み込んだモデルが下流ベンチマークで一貫したパフォーマンス向上を達成できることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-30T13:33:21Z)
• Early Weight Averaging meets High Learning Rates for LLM Pre-training [20.671831210738937]
  高い学習率で訓練されたモデルは、チェックポイント平均化により、より高い利得を観測できることを示す。 トレーニングレシピは、従来のトレーニングと一般的なチェックポイント平均基準よりも優れています。
  論文  参考訳（メタデータ） (2023-06-05T20:51:44Z)
• SPDF: Sparse Pre-training and Dense Fine-tuning for Large Language Models [4.114555639014612]
  本研究は,非構造的重み空間を用いて,事前訓練中にのみ重みのサブセットを訓練する利点を示す。 我々は1.3Bパラメータ GPT-3 XL モデルに最大75%の間隔を誘導できることを示す。
  論文  参考訳（メタデータ） (2023-03-18T17:56:01Z)
• Training Compute-Optimal Large Language Models [54.00424650998489]
  私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
  論文  参考訳（メタデータ） (2022-03-29T13:38:03Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Towards Efficient Post-training Quantization of Pre-trained Language Models [85.68317334241287]
  PLMのポストトレーニング量子化(PTQ)について検討し,モジュール単位の量子化誤差最小化(MREM)を提案する。 GLUEとSQuADベンチマークの実験により、提案したPTQソリューションはQATに近く動作するだけでなく、トレーニング時間、メモリオーバーヘッド、データ消費を大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-09-30T12:50:06Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• Progressively Stacking 2.0: A Multi-stage Layerwise Training Method for BERT Training Speedup [13.50984315473865]
  BERTのトレーニング時間を短縮するために,効率的な多段階階層トレーニング(MSLT)手法を提案する。 提案されたトレーニング戦略では、上位層のみが後方計算に参加し、ほとんどの層は前方計算にのみ参加する。 実験結果から,提案手法は性能劣化を伴わずに110%以上のトレーニングスピードアップを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-11-27T10:00:22Z)
• Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time [11.035461657669096]
  微調整により,スクラッチからトレーニングしたモデルの性能を10%未満の時間で一致させることができることを示す。 提案手法がFacebook TOPとSNIPSデータセットの複数分割に対して有効であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。