論文の概要: Replaying pre-training data improves fine-tuning

• arxiv url: http://arxiv.org/abs/2603.04964v1
• Date: Thu, 05 Mar 2026 09:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.152961
• Title: Replaying pre-training data improves fine-tuning
• Title（参考訳）: 事前学習データの再生は微調整を改善する
• Authors: Suhas Kotha, Percy Liang,
• Abstract要約: 微調整中にジェネリックデータを再生することで、(無関係な)ターゲットタスクのパフォーマンスが向上することを示す。 さらに、事前トレーニング中にターゲットデータを導入するデータスケジュールを分析し、事前トレーニングにターゲットデータが少ない場合には、リプレイがより役立ちます。
• 参考スコア（独自算出の注目度）: 54.70941485469519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To obtain a language model for a target domain (e.g. math), the current paradigm is to pre-train on a vast amount of generic web text and then fine-tune on the relatively limited amount of target data. Typically, generic data is only mixed in during fine-tuning to prevent catastrophic forgetting of the generic domain. We surprisingly find that replaying the generic data during fine-tuning can actually improve performance on the (less related) target task. Concretely, in a controlled pre-training environment with 4M target tokens, 4B total tokens, and 150M parameter models, generic replay increases target data efficiency by up to $1.87\times$ for fine-tuning and $2.06\times$ for mid-training. We further analyze data schedules that introduce target data during pre-training and find that replay helps more when there is less target data present in pre-training. We demonstrate the success of replay in practice for fine-tuning 8B parameter models, improving agentic web navigation success by $4.5\%$ and Basque question-answering accuracy by $2\%$.
• Abstract（参考訳）: 対象領域(例えば数学)の言語モデルを得るために、現在のパラダイムは、大量の汎用Webテキストで事前訓練し、比較的限られたターゲットデータで微調整することである。 通常、ジェネリックデータは、ジェネリックドメインの破滅的な忘れを防止するために、微調整中にのみ混合される。 微調整中にジェネリックデータを再生することで、(無関係な)ターゲットタスクのパフォーマンスが向上することが驚くべきことです。 具体的には、4Mターゲットトークン、4Bトータルトークン、および150Mパラメータモデルを持つ制御された事前トレーニング環境では、ジェネリックリプレイは、微調整で最大1.87倍、中トレーニングで2.06倍の目標データ効率を向上する。 さらに、事前トレーニング中にターゲットデータを導入するデータスケジュールを分析し、事前トレーニングにターゲットデータが少ない場合には、リプレイがより役立ちます。 本研究では,8Bパラメータの微調整によるリプレイの成功,エージェントによるWebナビゲーションの成功を4.5 %$,バスク語質問回答の精度を2 %$で向上させることを実証する。

関連論文リスト

• Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection [37.65064631532493]
  対象領域のデータに対する教師なし予測を行うために、事前訓練されたモデルを微調整することは、2つの課題を示す。 我々は,事前学習データを微調整データ混合物に注入する効率を計測し,過度な適合を回避し,過度な適合を緩和する。 本研究の実際的な特徴は、微調整データ混合物に1%の事前学習データを注入することで、事前学習セットを忘れないようにすることである。
  論文  参考訳（メタデータ） (2025-02-09T21:44:27Z)
• Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling [27.975832264345772]
  本稿では,Web上の文書をパラフレーズ化するために,既製の命令調整モデルを用いたWeb Rephrase Augmented Pre-training(textbfWRAP$)を提案する。 自然にノイズの多いC4データセットでWRAPを使用することで、プリトレーニングを$sim3x$で高速化する。 同じトレーニング済みの計算予算で、Pileのさまざまなサブセットで平均して10%以上のパープレキシティを改善し、13のタスクでゼロショットの質問応答精度を2%以上改善する。
  論文  参考訳（メタデータ） (2024-01-29T18:19:08Z)
• Connect Later: Improving Fine-tuning for Robustness with Targeted Augmentations [15.387990102999773]
  ラベル付きソースドメインでトレーニングされたモデルは、アウト・オブ・ディストリビューション対象ドメインにデプロイされた場合、しばしば不適切な一般化を行う。 ラベルなしのターゲットデータが利用可能なドメイン適応設定では、自己教師付き事前訓練がこのパフォーマンス低下を軽減するための有望な方法である。 プレトレーニング後の微調整を標準化した実世界のタスクについて,ラベル付きソースデータからスクラッチからトレーニングするだけでは,OODエラーが常に改善されないことを示す。 汎用的な拡張で事前訓練した後、分散シフトの知識を活かしたターゲット拡張による微調整を行う。
  論文  参考訳（メタデータ） (2024-01-08T18:59:52Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• PECoP: Parameter Efficient Continual Pretraining for Action Quality Assessment [5.646864170268027]
  以前の作業では、大規模なドメイン汎用データセットで事前訓練されたモデルを微調整する必要がある。 このようなドメインシフトを減らすために,新しいパラメータ効率,連続的事前学習フレームワーク PEP を提案する。 我々は,最近の最先端手法の性能を向上させるPEPの能力を実証する。
  論文  参考訳（メタデータ） (2023-11-11T02:36:38Z)
• TMI! Finetuned Models Leak Private Information from their Pretraining Data [5.150344987657356]
  我々は,敵が細かなモデルにのみアクセス可能な新しいメンバーシップ推論脅威モデルを提案する。 我々は、複数の移動学習環境において、視覚と自然言語の両方のタスクに対して$textbfTMI$を評価した。 $textbfTMI$のオープンソース実装はGitHubにある。
  論文  参考訳（メタデータ） (2023-06-01T22:29:28Z)
• DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining [148.90031913522648]
  ミニマックス最適化(DoReMi)を用いたドメイン再重み付けを提案する。 DoReMiはまず、ドメイン上のグループ分散ロバスト最適化(Group DRO)を使用して小さなプロキシモデルをトレーニングし、ドメイン重みを生成する。 次に、これらのドメインウェイトでデータセットを再サンプリングし、より大きなフルサイズのモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-05-17T17:58:13Z)
• On-target Adaptation [82.77980951331854]
  ドメイン適応は、Emphtargetドメインでのトレーニングとテストの間のシフトを軽減することを目指している。 ほとんどの適応法は、ソースデータとターゲットデータに対する共同最適化によるソースデータに依存している。 対象データから純粋に表現を学習するオン・ターゲット適応による大幅な改善を示す。
  論文  参考訳（メタデータ） (2021-09-02T17:04:18Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)
• Rethinking Pre-training and Self-training [105.27954735761678]
  我々は、同じ設定で追加データを利用する別の方法として自己学習を調査し、ImageNet事前学習と対比する。 本研究は, 自己学習の汎用性と柔軟性について, 3つの考察を加えて明らかにした。 例えば、COCOオブジェクト検出データセットでは、ラベル付きデータの5分の1を使用すると事前トレーニングのメリットがあり、ラベル付きデータのすべてを使用すると精度が低下します。
  論文  参考訳（メタデータ） (2020-06-11T23:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。