論文の概要: Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization
- arxiv url: http://arxiv.org/abs/2402.14270v2
- Date: Fri, 1 Mar 2024 15:21:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:32:08.735507
- Title: Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization
- Title(参考訳): 牛を角から離す:ハードサンプル強調連続訓練はllm一般化を改善する
- Authors: Xuxi Chen, Zhendong Wang, Daouda Sow, Junjie Yang, Tianlong Chen,
Yingbin Liang, Mingyuan Zhou, Zhangyang Wang
- Abstract要約: 大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
- 参考スコア(独自算出の注目度): 165.98557106089777
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the rapidly advancing arena of large language models (LLMs), a key
challenge is to enhance their capabilities amid a looming shortage of
high-quality training data. Our study starts from an empirical strategy for the
light continual training of LLMs using their original pre-training data sets,
with a specific focus on selective retention of samples that incur moderately
high losses. These samples are deemed informative and beneficial for model
refinement, contrasting with the highest-loss samples, which would be discarded
due to their correlation with data noise and complexity. We then formalize this
strategy into a principled framework of Instance-Reweighted Distributionally
Robust Optimization (IR-DRO). IR-DRO is designed to dynamically prioritize the
training focus on informative samples through an instance reweighting
mechanism, streamlined by a closed-form solution for straightforward
integration into established training protocols. Through rigorous
experimentation with various models and datasets, our findings indicate that
our sample-targeted methods significantly improve LLM performance across
multiple benchmarks, in both continual pre-training and instruction tuning
scenarios. Our codes are available at
https://github.com/VITA-Group/HardFocusTraining.
- Abstract(参考訳): 大規模言語モデル(llm)の急速に進展する分野において、高品質なトレーニングデータが不足している中で、その能力を高めることが重要な課題である。
本研究は,従来の事前学習データセットを用いたLCMの光連続的トレーニングの実証的戦略から始まり,中等度に高い損失を被るサンプルの選択的保持に着目した。
これらのサンプルは、データノイズや複雑性との相関から廃棄される最も損失の多いサンプルとは対照的に、モデルの改良に有益で有益であると考えられている。
次に、この戦略をインスタンス重み付け分散ロバスト最適化(IR-DRO)の原則的なフレームワークに定式化する。
IR-DROは、既存のトレーニングプロトコルに簡単に統合するためのクローズドフォームソリューションによって合理化されたインスタンス再重み付け機構を通じて、インフォメーションサンプルのトレーニングフォーカスを動的に優先順位付けするように設計されている。
様々なモデルとデータセットを厳密に実験した結果,本手法は連続的な事前学習と命令チューニングのシナリオにおいて,複数のベンチマークにおけるllm性能を著しく改善することが示唆された。
私たちのコードはhttps://github.com/vita-group/hardfocustrainingで利用できます。
関連論文リスト
- How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - Improving Data Augmentation for Robust Visual Question Answering with
Effective Curriculum Learning [12.647353699551081]
DAに基づくVQA手法を強化するための効果的なカリキュラム学習戦略ECLを設計する。
ECLはまず比較的簡単なサンプルでVQAモデルを訓練し、その後徐々に難しいサンプルに変化し、より価値の低いサンプルは動的に除去される。
拡張データセット全体のトレーニングと比較して、私たちのECL戦略は、より少ないトレーニングサンプルでVQAモデルのパフォーマンスをさらに向上させることができます。
論文 参考訳(メタデータ) (2024-01-28T12:48:16Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳(メタデータ) (2023-11-16T10:42:58Z) - Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。
提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。
情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
論文 参考訳(メタデータ) (2022-08-17T04:01:29Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳(メタデータ) (2021-06-06T00:04:49Z) - Sample-based Regularization: A Transfer Learning Strategy Toward Better
Generalization [8.432864879027724]
少量のデータでディープニューラルネットワークをトレーニングすることは、難しい問題である。
私たちがよく直面する現実的な難題の1つは、多くのサンプルを集めることです。
大規模なデータセットでトレーニングされたソースモデルを使用することで、トレーニングデータの不足に起因する過度な適合を軽減することができる。
論文 参考訳(メタデータ) (2020-07-10T06:02:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。