論文の概要: Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2502.06733v1
• Date: Mon, 10 Feb 2025 17:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:22.797969
• Title: Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining
• Title（参考訳）: 動的損失に基づく大規模言語モデル事前学習のためのサンプル再重み付け
• Authors: Daouda Sow, Herbert Woisetschläger, Saikiran Bulusu, Shiqiang Wang, Hans-Arno Jacobsen, Yingbin Liang,
• Abstract要約: 既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
• 参考スコア（独自算出の注目度）: 55.262510814326035
• License:
• Abstract: Pretraining large language models (LLMs) on vast and heterogeneous datasets is crucial for achieving state-of-the-art performance across diverse downstream tasks. However, current training paradigms treat all samples equally, overlooking the importance or relevance of individual samples throughout the training process. Existing reweighting strategies, which primarily focus on group-level data importance, fail to leverage fine-grained instance-level information and do not adapt dynamically to individual sample importance as training progresses. In this paper, we introduce novel algorithms for dynamic, instance-level data reweighting aimed at improving both the efficiency and effectiveness of LLM pretraining. Our methods adjust the weight of each training sample based on its loss value in an online fashion, allowing the model to dynamically focus on more informative or important samples at the current training stage. In particular, our framework allows us to systematically devise reweighting strategies deprioritizing redundant or uninformative data, which we find tend to work best. Furthermore, we develop a new theoretical framework for analyzing the impact of loss-based reweighting on the convergence of gradient-based optimization, providing the first formal characterization of how these strategies affect convergence bounds. We empirically validate our approach across a spectrum of tasks, from pretraining 7B and 1.4B parameter LLMs to smaller-scale language models and linear regression problems, demonstrating that our loss-based reweighting approach can lead to faster convergence and significantly improved performance.
• Abstract（参考訳）: 大規模で異質なデータセット上での大規模言語モデル(LLM)の事前トレーニングは、さまざまな下流タスクにおける最先端のパフォーマンスを達成する上で不可欠である。 しかしながら、現在のトレーニングパラダイムは、トレーニングプロセスを通して個々のサンプルの重要性や関連性を見越して、すべてのサンプルを平等に扱う。 既存の再重み付け戦略は、主にグループレベルのデータ重要度に焦点を当てているが、きめ細かいインスタンスレベルの情報を活用することができず、トレーニングが進むにつれて個々のサンプル重要度に動的に適応しない。 本稿では,LLMプレトレーニングの効率性と有効性の向上を目的とした,動的でインスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 本手法は,オンライン方式で各トレーニングサンプルの損失値に基づいて,各トレーニングサンプルの重量を調整し,現在のトレーニング段階において,より情報に富んだ,あるいは重要なサンプルに動的にフォーカスできるようにする。 特に、当社のフレームワークでは、冗長データや非形式データを優先順位付けする再重み付け戦略を体系的に考案することができます。 さらに、損失に基づく再重み付けが勾配に基づく最適化の収束に与える影響を分析するための新しい理論フレームワークを開発し、これらの戦略が収束境界にどのように影響するかを初めて公式に評価する。 7B と 1.4B のパラメータ LLM の事前学習から,小規模言語モデルや線形回帰問題へのアプローチを実証的に検証し,損失に基づく再重み付け手法がより早く収束し,性能を著しく向上させることを示した。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation [59.899714450049494]
  オフラインの事前トレーニングは、準最適ポリシーを生成し、オンライン強化学習のパフォーマンスを低下させる可能性がある。 本稿では,オフライン強化学習による事前学習のメリットを最大化し,有効となるために必要なデータの規模を削減するためのモデルベースデータ拡張戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:49:41Z)
• An Analysis of Initial Training Strategies for Exemplar-Free Class-Incremental Learning [36.619804184427245]
  CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。 破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。 大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
  論文  参考訳（メタデータ） (2023-08-22T14:06:40Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。