論文の概要: Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2508.01908v1
• Date: Sun, 03 Aug 2025 20:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.113808
• Title: Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
• Title（参考訳）: 大規模言語モデルの連続的事前学習における再生とグラディエントアライメントの再検討
• Authors: Istabrak Abbes, Gopeshh Subbaraj, Matthew Riemer, Nizar Islah, Benjamin Therien, Tsuguchika Tabaru, Hiroaki Kingetsu, Sarath Chandar, Irina Rish,
• Abstract要約: 大規模言語モデルのトレーニングは通常、大量のコーパスで事前トレーニングを行う。 新しいデータは、しばしば分散シフトを引き起こし、以前に学習したタスクのパフォーマンスが低下する。 この分散シフトに対処するための2つの一般的な提案、すなわちエクスペリエンスのリプレイとアライメントアライメントについて、より深く検討する。
• 参考スコア（独自算出の注目度）: 19.136589266017694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) typically involves pre-training on massive corpora, only to restart the process entirely when new data becomes available. A more efficient and resource-conserving approach would be continual pre-training, where models are updated with new data rather than retraining from scratch. However, the introduction of new data often causes distribution shifts, leading to performance degradation on previously learned tasks. In this paper, we take a deeper look at two popular proposals for addressing this distribution shift within the continual learning literature: experience replay and gradient alignment. We consider continual pre-training of models within the Llama family of architectures at a large scale across languages with 100 billion tokens of training data in each language, finding that both replay and gradient alignment lead to more stable learning without forgetting. This conclusion holds both as we vary the model scale and as we vary the number and diversity of tasks. Moreover, we are the first to demonstrate the effectiveness of gradient alignment techniques in the context of LLM pre-training and propose an efficient implementation of meta-experience replay (MER) that imbues experience replay with the benefits of gradient alignment despite negligible compute and memory overhead. Our scaling analysis across model sizes and replay rates indicates that small rates of replaying old examples are definitely a more valuable use of compute than investing in model size, but that it is more compute efficient to scale the size of the model than invest in high rates of replaying old examples.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングは通常、大量のコーパスで事前トレーニングを行い、新しいデータが利用可能になったときにのみプロセスを再起動する。 より効率的でリソース保存のアプローチは、モデルをスクラッチから再トレーニングするのではなく、新しいデータで更新する、継続的な事前トレーニングである。 しかし、新しいデータの導入は、しばしば分散シフトを引き起こし、以前に学習したタスクのパフォーマンスが低下する。 本稿では,連続的な学習文献におけるこの分布変化に対処するための2つの一般的な提案について,経験的リプレイと漸進的アライメントという,より深く考察する。 各言語で1000億のトレーニングデータを持つ言語にまたがる大規模なアーキテクチャのLlamaファミリ内のモデルの継続事前トレーニングを検討し、リプレイと勾配調整の両方が、忘れずにより安定した学習につながることを発見した。 この結論は、モデルスケールの変化と、タスクの数と多様性の変化の両方に当てはまります。 さらに, LLM事前学習の文脈における勾配アライメント手法の有効性を初めて実証し, 計算やメモリオーバーヘッドが無視できるにもかかわらず, 勾配アライメントの利点を生かしたメタ経験リプレイ(MER)の効率的な実装を提案する。 モデルサイズとリプレイ率のスケーリング分析は、モデルサイズに投資するよりも、古い例のリプレイ率の小さい方が、計算の有用性が高いことを示しているが、古い例のリプレイ率が高いことよりも、モデルのサイズをスケールする方が効率的であることを示している。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Prioritized Generative Replay [121.83947140497655]
  本稿では,オンライン体験を再現する生成モデルを用いて,エージェントのメモリの優先的でパラメトリックなバージョンを提案する。 このパラダイムは、生成モデルの一般化能力の恩恵を受ける新しい世代と共に、過去の経験の密度化を可能にする。 このレシピは条件付き拡散モデルと単純な関連関数を用いてインスタンス化できることを示す。
  論文  参考訳（メタデータ） (2024-10-23T17:59:52Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Adaptive Memory Replay for Continual Learning [29.333341368722653]
  新たなデータが利用可能になれば、ファンデーションモデルの更新は破滅的な忘れに繋がる」 連続学習のための適応型メモリリプレイの枠組みを導入し、過去のデータのサンプリングをマルチアームバンディット問題と表現する。 我々は,学習効率を犠牲にすることなく,最大10%の忘れ込みを低減しつつ,高い性能を維持するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-18T22:01:56Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• On the Costs and Benefits of Adopting Lifelong Learning for Software Analytics -- Empirical Study on Brown Build and Risk Prediction [17.502553991799832]
  本稿では,ユビソフトにおける産業用ユースケースにおける生涯学習(LL)の利用について検討する。 LLは、新しいデータを使用して古いモデルを段階的に更新するインクリメンタルラーナを使用して、MLベースのソフトウェア分析ツールを継続的に構築し、メンテナンスするために使用される。
  論文  参考訳（メタデータ） (2023-05-16T21:57:16Z)
• Instance-Conditional Timescales of Decay for Non-Stationary Learning [11.90763787610444]
  スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。 大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。 9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
  論文  参考訳（メタデータ） (2022-12-12T14:16:26Z)
• One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning [35.0157090322113]
  大規模機械学習システムは、しばしばプロダクション環境からの膨大なデータで継続的に訓練される。 ストリーミングデータの量は、リアルタイムのトレーニングサブシステムにとって重要な課題であり、アドホックサンプリングが標準のプラクティスである。 我々は,これらの前方パスからインスタンス毎の情報量を一定に記録することを提案する。 追加情報は、前方および後方のパスに参加するデータインスタンスの選択を測定可能に改善します。
  論文  参考訳（メタデータ） (2021-04-27T11:29:02Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。