論文の概要: Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting

• arxiv url: http://arxiv.org/abs/2502.02797v1
• Date: Wed, 05 Feb 2025 00:49:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:29:26.271957
• Title: Upweighting Easy Samples in Fine-Tuning Mitigates Forgetting
• Title（参考訳）: ファインチューニングマイチゲートにおける重み付け容易な試料
• Authors: Sunny Sanyal, Hayden Prairie, Rudrajit Das, Ali Kavis, Sujay Sanghavi,
• Abstract要約: 下流タスクで事前訓練されたモデルを微調整すると、元の能力は劣化することが多い。 本稿では,事前学習したモデルの損失に基づく微調整データのサンプル重み付け手法を提案する。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。
• 参考スコア（独自算出の注目度）: 15.251425165987987
• License:
• Abstract: Fine-tuning a pre-trained model on a downstream task often degrades its original capabilities, a phenomenon known as "catastrophic forgetting". This is especially an issue when one does not have access to the data and recipe used to develop the pre-trained model. Under this constraint, most existing methods for mitigating forgetting are inapplicable. To address this challenge, we propose a sample weighting scheme for the fine-tuning data solely based on the pre-trained model's losses. Specifically, we upweight the easy samples on which the pre-trained model's loss is low and vice versa to limit the drift from the pre-trained model. Our approach is orthogonal and yet complementary to existing methods; while such methods mostly operate on parameter or gradient space, we concentrate on the sample space. We theoretically analyze the impact of fine-tuning with our method in a linear setting, showing that it stalls learning in a certain subspace which inhibits overfitting to the target task. We empirically demonstrate the efficacy of our method on both language and vision tasks. As an example, when fine-tuning Gemma 2 2B on MetaMathQA, our method results in only a $0.8\%$ drop in accuracy on GSM8K (another math dataset) compared to standard fine-tuning, while preserving $5.4\%$ more accuracy on the pre-training datasets. Our code is publicly available at https://github.com/sanyalsunny111/FLOW_finetuning .
• Abstract（参考訳）: 下流のタスクで事前訓練されたモデルを微調整すると、しばしば元の能力は劣化し、これは「破滅的な忘れ物」と呼ばれる現象である。 これは、事前訓練されたモデルを開発するのに使用されるデータやレシピにアクセスできない場合に特に問題となる。 この制約の下では、忘れを緩和する既存の方法はほとんど適用できない。 この課題に対処するために,事前学習したモデルの損失のみに基づく微調整データのサンプル重み付け方式を提案する。 具体的には,事前学習モデルの損失が低い場合と,事前学習モデルからのドリフトを制限する場合の簡単なサンプルを重み付けする。 我々の手法は直交的であり、既存の手法と相補的であるが、そのような手法は主にパラメータや勾配空間で作用するが、サンプル空間に集中する。 提案手法が線形環境下での微調整の影響を理論的に解析し,対象タスクへの過度な適合を阻害する部分空間での学習を停止させることを示す。 我々は,言語と視覚の両方における手法の有効性を実証的に実証した。 例えば、MetaMathQA上でGemma 2 2Bを微調整すると、トレーニング前のデータセットで5.4\%以上の精度を保ちながら、GSM8K(別の数学データセット)の精度が0.8\%のわずかに低下する。 私たちのコードはhttps://github.com/sanyalsunny111/FLOW_finetuningで公開されています。

関連論文リスト

• Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
  大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。 新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。 本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T16:12:38Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
  プレトレーニングは下流のタスクに移行することで大きな成功を収めた。 本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
  論文  参考訳（メタデータ） (2023-06-21T07:43:23Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data [11.66734752179563]
  長い尾の分散データの分類は難しい問題である。 トレーニング済みのモデルを下流タスクに転送する場合、特に微調整では、テールクラスでの学習は困難である。 本稿では,2段階のファインチューニングを提案する。まず,事前訓練されたモデルの最終層をクラスバランスの再重み付け損失で微調整し,次に標準のファインチューニングを実行する。
  論文  参考訳（メタデータ） (2022-07-22T03:39:51Z)
• Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data [17.7825114228313]
  破損したラベルとクラス不均衡は、実際に収集されたトレーニングデータでよく見られる。 既存のアプローチは、サンプルの再重み付け戦略を採用することで、これらの問題を緩和します。 しかし、ラベルが破損したサンプルと、訓練データに一般的に共存する尾のクラスは偏りがあった。
  論文  参考訳（メタデータ） (2021-12-30T09:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。