論文の概要: Escaping Collapse: The Strength of Weak Data for Large Language Model Training

• arxiv url: http://arxiv.org/abs/2502.08924v1
• Date: Thu, 13 Feb 2025 03:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:55.824404
• Title: Escaping Collapse: The Strength of Weak Data for Large Language Model Training
• Title（参考訳）: Esscaping Collapse: 大規模言語モデルトレーニングのための弱みデータの強度
• Authors: Kareem Amin, Sara Babakniya, Alex Bie, Weiwei Kong, Umar Syed, Sergei Vassilvitskii,
• Abstract要約: LLMの性能を継続的に向上させるために、どの程度のキュレーションが必要なのかを理論的に検討する枠組みを開発する。 非合成トレーニングデータのほとんどすべてが品質が悪い場合でも、最適なLCMに収束する訓練手順を述べる。
• 参考スコア（独自算出の注目度）: 15.77316232527746
• License:
• Abstract: Synthetically-generated data plays an increasingly larger role in training large language models. However, while synthetic data has been found to be useful, studies have also shown that without proper curation it can cause LLM performance to plateau, or even "collapse", after many training iterations. In this paper, we formalize this question and develop a theoretical framework to investigate how much curation is needed in order to ensure that LLM performance continually improves. We find that the requirements are nearly minimal. We describe a training procedure that converges to an optimal LLM even if almost all of the non-synthetic training data is of poor quality. Our analysis is inspired by boosting, a classic machine learning technique that leverages a very weak learning algorithm to produce an arbitrarily good classifier. Our training procedure subsumes many recently proposed methods for training LLMs on synthetic data, and thus our analysis sheds light on why they are successful, and also suggests opportunities for future improvement. We present experiments that validate our theory, and show that dynamically focusing labeling resources on the most challenging examples -- in much the same way that boosting focuses the efforts of the weak learner -- leads to improved performance.
• Abstract（参考訳）: 合成生成されたデータは、大規模言語モデルのトレーニングにおいてますます大きな役割を果たす。 しかし、合成データが有用であることが判明した一方で、適切なキュレーションがなければ、LCMの性能が低下したり、多くのトレーニングを繰り返した後に「崩壊」する可能性があることも研究によって示されている。 本稿では,この問題を形式化し,LLMの性能を継続的に向上させるために,どの程度のキュレーションが必要かを検討するための理論的枠組みを開発する。 要件はほぼ最小限であることに気付きました。 非合成トレーニングデータのほとんどすべてが品質が悪い場合でも、最適なLCMに収束する訓練手順を述べる。 私たちの分析は、非常に弱い学習アルゴリズムを利用して、任意に優れた分類器を生成する古典的な機械学習技術であるブースティングにインスパイアされています。 本研究は,最近提案された合成データを用いたLCMの学習手法を多数仮定し,その有効性を考察し,今後の改善の可能性も示唆する。 我々は、我々の理論を検証し、最も難しい例にラベルリソースを動的にフォーカスする実験を提示する。

関連論文リスト

• A Little Help Goes a Long Way: Efficient LLM Training by Leveraging Small LMs [74.35290684163718]
  大規模言語モデル(LLM)開発における最大の課題は、その面倒な事前トレーニングコストである。 本稿では,小言語モデル(SLM)を活用して,LLMの事前学習効率と品質を改善するための有望なパラダイムについて検討する。
  論文  参考訳（メタデータ） (2024-10-24T14:31:52Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Achieving Peak Performance for Large Language Models: A Systematic Review [0.0]
  大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な成功を収めた モデルが1兆のパラメータ範囲に成長するにつれて、計算とメモリのコストは大幅に増加する。 これにより、多くの研究者がこれらのモデルのトレーニングや適用に必要なリソースにアクセスするのが難しくなる。
  論文  参考訳（メタデータ） (2024-09-07T13:57:41Z)
• Regurgitative Training: The Value of Real Data in Training Large Language Models [1.2815904071470703]
  LLMの性能に及ぼす「相対的学習」の影響について検討した。 退行訓練がLSMの性能を著しく向上させる強い証拠が得られている。 本稿では,3つの異なる戦略を提案して評価する。
  論文  参考訳（メタデータ） (2024-07-03T18:42:55Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Machine Unlearning of Pre-trained Large Language Models [17.40601262379265]
  本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。 我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
  論文  参考訳（メタデータ） (2024-02-23T07:43:26Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of Language Models [40.54353850357839]
  トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。 その結果,完全学習モデルの性能の最大$sim99%が得られた。
  論文  参考訳（メタデータ） (2023-05-11T09:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。