論文の概要: Beyond Model Collapse: Scaling Up with Synthesized Data Requires Reinforcement

• arxiv url: http://arxiv.org/abs/2406.07515v1
• Date: Tue, 11 Jun 2024 17:46:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:36:00.948578
• Title: Beyond Model Collapse: Scaling Up with Synthesized Data Requires Reinforcement
• Title（参考訳）: モデル崩壊を超えて - シンセサイザー化されたデータでスケールアップするには強化が必要だ
• Authors: Yunzhen Feng, Elvis Dohmatob, Pu Yang, Francois Charton, Julia Kempe,
• Abstract要約: モデル崩壊防止のための合成データに対するフィードバックの利用について検討する。 フィードバック強化された合成データからのトレーニングは、誤った予測を打つか、いくつかの推測のベストを選択することによって、モデル崩壊を防止できることが示される。
• 参考スコア（独自算出の注目度）: 11.6055501181235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthesized data from generative models is increasingly considered as an alternative to human-annotated data for fine-tuning Large Language Models. This raises concerns about model collapse: a drop in performance of models fine-tuned on generated data. Considering that it is easier for both humans and machines to tell between good and bad examples than to generate high-quality samples, we investigate the use of feedback on synthesized data to prevent model collapse. We derive theoretical conditions under which a Gaussian mixture classification model can achieve asymptotically optimal performance when trained on feedback-augmented synthesized data, and provide supporting simulations for finite regimes. We illustrate our theoretical predictions on two practical problems: computing matrix eigenvalues with transformers and news summarization with large language models, which both undergo model collapse when trained on model-generated data. We show that training from feedback-augmented synthesized data, either by pruning incorrect predictions or by selecting the best of several guesses, can prevent model collapse, validating popular approaches like RLHF.
• Abstract（参考訳）: 生成モデルからの合成データは、微調整された大規模言語モデルのための人間の注釈データに代わるものとして、ますます考えられている。 これにより、モデル崩壊に関する懸念が持ち上がり、生成されたデータに微調整されたモデルのパフォーマンスが低下する。 高品質なサンプルを生成するよりも、人間と機械の両方が良い例と悪い例を区別し易いことを考慮し、モデル崩壊を防止するため、合成データに対するフィードバックの利用について検討する。 我々は、ガウス混合分類モデルが、フィードバック強化された合成データに基づいて訓練された場合、漸近的に最適な性能を達成できる理論条件を導出し、有限状態に対する支援シミュレーションを提供する。 本稿では,変圧器を用いた行列固有値の計算と,大言語モデルによるニュース要約という2つの実践的問題に関する理論的予測について述べる。 フィードバック強化された合成データからのトレーニングは、誤った予測を抽出したり、いくつかの推測のベストを選択することによって、モデル崩壊を防止し、RLHFのような一般的なアプローチを検証することができることを示す。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Self-Correcting Self-Consuming Loops for Generative Model Training [16.59453827606427]
  機械学習モデルは、人間と機械が生成したデータの混合に基づいて、ますます訓練されている。 合成データを用いた表現学習の成功にもかかわらず、合成データを用いた生成モデルトレーニングは「自己消費ループ」を創出する 本稿では,理想化された補正関数を導入することで,自己消費生成モデルの訓練を安定化することを目的とする。
  論文  参考訳（メタデータ） (2024-02-11T02:34:42Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Too Fine or Too Coarse? The Goldilocks Composition of Data Complexity for Robust Left-Right Eye-Tracking Classifiers [0.0]
  我々は、細粒度データと粗粒度データの両方からなる混合データセットを用いて機械学習モデルを訓練する。 我々の目的のために、細粒度データはより複雑な方法で収集されたデータを指すのに対し、粗粒度データはより単純な方法で収集されたデータを指す。
  論文  参考訳（メタデータ） (2022-08-24T23:18:08Z)
• Conditional Synthetic Data Generation for Robust Machine Learning Applications with Limited Pandemic Data [11.535196994689501]
  条件付き生成フローと条件付き合成データ生成のための分類器からなるハイブリッドモデルを提案する。 固定条件特徴表現を用いて局所雑音を操作することで合成データを生成する。 本手法は,定性および定量的性能の両方において,既存モデルよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-14T07:30:54Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。