論文の概要: The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data

• arxiv url: http://arxiv.org/abs/2603.16177v1
• Date: Tue, 17 Mar 2026 06:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.136772
• Title: The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data
• Title（参考訳）: ファインチューナーの欠陥:いつデータでプレトレーニングするか
• Abstract要約: 本稿では,トークンの総数に占めるプレトレーニングから始めて,小さなドメインデータセットを繰り返す,SPT(Special Pretraining)というシンプルな戦略について検討する。 我々の実験では、SPTは与えられたドメインの性能に到達するのに必要な事前学習トークンを最大1.75倍まで削減する。 ファインタニングは、ドメイン適応への最も安い道のように見えるが、事前訓練中に特別なドメインデータを導入することは、その実用性を広げる。
• 参考スコア（独自算出の注目度）: 55.87500250831868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world model deployments demand strong performance on narrow domains where data is often scarce. Typically, practitioners finetune models to specialize them, but this risks overfitting to the domain and forgetting general knowledge. We study a simple strategy, specialized pretraining (SPT), where a small domain dataset, typically reserved for finetuning, is repeated starting from pretraining as a fraction of the total tokens. Across three specialized domains (ChemPile, MusicPile, and ProofPile), SPT improves domain performance and preserves general capabilities after finetuning compared to standard pretraining. In our experiments, SPT reduces the pretraining tokens needed to reach a given domain performance by up to 1.75x. These gains grow when the target domain is underrepresented in the pretraining corpus: on domains far from web text, a 1B SPT model outperforms a 3B standard pretrained model. Beyond these empirical gains, we derive overfitting scaling laws to guide practitioners in selecting the optimal domain-data repetition for a given pretraining compute budget. Our observations reveal the finetuner's fallacy: while finetuning may appear to be the cheapest path to domain adaptation, introducing specialized domain data during pretraining stretches its utility. SPT yields better specialized domain performance (via reduced overfitting across repeated exposures) and better general domain performance (via reduced forgetting during finetuning), ultimately achieving stronger results with fewer parameters and less total compute when amortized over inference. To get the most out of domain data, incorporate it as early in training as possible.
• Abstract（参考訳）: 実世界のモデルデプロイメントは、データがほとんどない狭いドメインに対して強力なパフォーマンスを要求する。 通常、実践者はモデルを微調整して専門化しますが、このリスクはドメインに過度に適合し、一般的な知識を忘れます。 我々は、通常、微調整用に予約された小さなドメインデータセットを、トークン全体のごく一部として事前訓練から始める、単純な戦略、特殊事前訓練(SPT)について検討する。 3つの専門ドメイン(ChemPile、MusicPile、ProofPile)にわたって、SPTはドメインパフォーマンスを改善し、通常の事前トレーニングと比較して微調整後の一般的な機能を維持する。 我々の実験では、SPTは与えられたドメインの性能に到達するのに必要な事前学習トークンを最大1.75倍まで削減する。 Webテキストから遠い領域では、1B SPTモデルは3B標準の事前訓練されたモデルよりも優れています。 これらの経験的利益の他に、所定の事前訓練された計算予算に対して最適なドメインデータ繰り返しを選択する際に、実践者を支援するために、オーバーフィッティングのスケーリング法則を導出します。 ファインタニングは、ドメイン適応への最も安い道のように見えるが、事前訓練中に特別なドメインデータを導入することは、その実用性を広げる。 SPTは、(繰り返し露光によるオーバーフィッティングを減らし)より優れた特殊ドメイン性能と(微調整中の忘れを減らし)より優れた汎用ドメイン性能を得る。 ドメインデータを最大限に活用するには、可能な限り早期にトレーニングを組み込む必要がある。

関連論文リスト

• Scaling Domain Data Repetition in LLM Pretraining [18.481235801370826]
  高品質なドメインデータは一般的なWebデータよりもスケールがはるかに難しい。 モデルサイズとトレーニングトーケン予算が増加するにつれて、トレーニングミックスの比率は減少する傾向にある。 より小さなプロキシモデル(mathrmTPP)で調整された繰り返し回数は、より大きなモデルに対して実用的な見積もりを提供することができる。
  論文  参考訳（メタデータ） (2026-08-14T08:27:15Z)
• Is Large-Scale Pretraining the Secret to Good Domain Generalization? [69.80606575323691]
  マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。 最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。 評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
  論文  参考訳（メタデータ） (2024-12-03T21:43:11Z)
• IGOT: Information Gain Optimized Tokenizer on Domain Adaptive Pretraining [2.009700777745832]
  事前訓練されたLarge Language Models (LLM) は、自然言語生成の様々な分野で強力な能力を示している。 生成AIを使用して下流タスクを処理する場合、一般的なアプローチは、継続的なトレーニングや微調整を通じて新しい知識を追加することである。 本稿では、下流タスクの特殊トークンセットを分析し、特殊トークンと情報ゲインを併用した$phi$を用いて新しいサブセットを構築する情報ゲイン最適化トークンライザ(IGOT)を提案する。 ドメイン適応型事前学習におけるカスタマイズトークン化器の多くの効果について検討し,本手法がより優れた性能を発揮することを検証した。
  論文  参考訳（メタデータ） (2024-05-16T07:25:10Z)
• AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification [53.84663977283108]
  事前学習文(SEs)に基づく文章分類は効率的で堅牢で効果的である。 本稿では, DAPT から SEPT を分離する AdaSent を提案する。 AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。
  論文  参考訳（メタデータ） (2023-11-01T10:00:15Z)
• Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
  本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-23T03:26:32Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training [67.71228426496013]
  事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。 複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
  論文  参考訳（メタデータ） (2021-04-02T12:53:15Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。