論文の概要: Scaling Laws for Downstream Task Performance of Large Language Models
- arxiv url: http://arxiv.org/abs/2402.04177v1
- Date: Tue, 6 Feb 2024 17:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 13:55:18.858377
- Title: Scaling Laws for Downstream Task Performance of Large Language Models
- Title(参考訳): 大規模言語モデルの下流タスク性能のスケーリング法則
- Authors: Berivan Isik, Natalia Ponomareva, Hussein Hazimeh, Dimitris Paparas,
Sergei Vassilvitskii, Sanmi Koyejo
- Abstract要約: プレトレーニングデータの選択が、下流のクロスエントロピーとBLEUスコアの2つの指標から判断された下流のパフォーマンス(翻訳品質)にどのように影響するかを検討する。
十分なアライメントで、下流のクロスエントロピーとBLEUスコアは、より事前トレーニングされたデータによって単調に改善される。
- 参考スコア(独自算出の注目度): 28.904224842085064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling laws provide important insights that can guide the design of large
language models (LLMs). Existing work has primarily focused on studying scaling
laws for pretraining (upstream) loss. However, in transfer learning settings,
in which LLMs are pretrained on an unsupervised dataset and then finetuned on a
downstream task, we often also care about the downstream performance. In this
work, we study the scaling behavior in a transfer learning setting, where LLMs
are finetuned for machine translation tasks. Specifically, we investigate how
the choice of the pretraining data and its size affect downstream performance
(translation quality) as judged by two metrics: downstream cross-entropy and
BLEU score. Our experiments indicate that the size of the finetuning dataset
and the distribution alignment between the pretraining and downstream data
significantly influence the scaling behavior. With sufficient alignment, both
downstream cross-entropy and BLEU score improve monotonically with more
pretraining data. In such cases, we show that it is possible to predict the
downstream BLEU score with good accuracy using a log-law. However, there are
also cases where moderate misalignment causes the BLEU score to fluctuate or
get worse with more pretraining, whereas downstream cross-entropy monotonically
improves. By analyzing these observations, we provide new practical insights
for choosing appropriate pretraining data.
- Abstract(参考訳): スケーリング法則は、大きな言語モデル(LLM)の設計をガイドする重要な洞察を提供する。
既存の作業は主に、事前トレーニング(上流)損失のスケーリング法則の研究に重点を置いています。
しかし、トランスファー学習では、LLMを教師なしデータセットで事前訓練し、下流タスクで微調整することで、ダウンストリームのパフォーマンスを気にすることが多い。
本研究では,LLMを機械翻訳タスクのために微調整した転写学習環境におけるスケーリング挙動について検討する。
具体的には,ダウンストリームクロスエントロピーとbleuスコアの2つの指標から,プリトレーニングデータとそのサイズが下流のパフォーマンス(翻訳品質)にどのように影響するかを検討する。
実験では,微調整データセットのサイズと,事前学習データと下流データの分布がスケーリング挙動に大きく影響することを示す。
十分なアライメントで、下流のクロスエントロピーとBLEUスコアは、より事前学習データによって単調に改善される。
このような場合、ログローを用いて、下流のBLEUスコアを精度良く予測できることが示される。
しかし、適度な調整がBLEUスコアを変動させるか、より事前トレーニングで悪化させる場合もあり、下流のクロスエントロピーは単調に改善する。
これらの観測を解析することにより、適切な事前学習データを選択するための新しい実践的な洞察を提供する。
関連論文リスト
- The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [60.52921835351632]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳(メタデータ) (2024-04-01T16:00:01Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - Inverse Scaling: When Bigger Isn't Better [64.993426536523]
大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。
我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
論文 参考訳(メタデータ) (2023-06-15T20:11:23Z) - Same Pre-training Loss, Better Downstream: Implicit Bias Matters for
Language Models [46.24479693469042]
本稿では,(1)事前学習損失が下流性能を完全に説明できないこと,(2)事前学習損失がない場合の下流性能とモデルの平坦性はよく相関していることを示す。
論文 参考訳(メタデータ) (2022-10-25T17:45:36Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳(メタデータ) (2021-09-08T10:39:57Z) - On Transferability of Bias Mitigation Effects in Language Model
Fine-Tuning [30.833538367971872]
微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。
これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。
下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
論文 参考訳(メタデータ) (2020-10-24T10:36:11Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。