論文の概要: MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2407.20999v1
• Date: Tue, 30 Jul 2024 17:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 16:21:06.202539
• Title: MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning
• Title（参考訳）: MoFO: LLMファインチューニングにおけるフォーミングの緩和のためのモーメントフィルタ最適化
• Authors: Yupeng Chen, Senmiao Wang, Zhihang Lin, Zeyu Qin, Yushun Zhang, Tian Ding, Ruoyu Sun,
• Abstract要約: 微調整の間、大きな言語モデル(LLM)は事前学習段階で得られた知識を忘れ、一般的な能力の低下につながる可能性がある。 我々はMomentum-Filtered Algorithm (MoFO)と呼ばれる新しい微調整アルゴリズムを提案する。 MoFOは、トレーニング済みモデルにパラメータを近づけながら、同様の微調整性能を達成し、知識の忘れを軽減します。
• 参考スコア（独自算出の注目度）: 11.174544614042984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, large language models (LLMs) have demonstrated remarkable capabilities in a wide range of tasks. Typically, an LLM is pre-trained on large corpora and subsequently fine-tuned on task-specific datasets. However, during finetuning, LLMs may forget the knowledge acquired in the pretraining stage, leading to a decline in general capabilities. To address this issue, we propose a new fine-tuning algorithm termed Momentum-Filtered Optimizer (MoFO). The key idea of MoFO is to iteratively select and update the model parameters with the largest momentum magnitudes. Compared to full-parameter training, MoFO achieves similar fine-tuning performance while keeping parameters closer to the pre-trained model, thereby mitigating knowledge forgetting. Unlike most existing methods for forgetting mitigation, MoFO combines the following two advantages. First, MoFO does not require access to pre-training data. This makes MoFO particularly suitable for fine-tuning scenarios where pre-training data is unavailable, such as fine-tuning checkpoint-only open-source LLMs. Second, MoFO does not alter the original loss function. This could avoid impairing the model performance on the fine-tuning tasks. We validate MoFO through rigorous convergence analysis and extensive experiments, demonstrating its superiority over existing methods in mitigating forgetting and enhancing fine-tuning performance.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) は様々なタスクにおいて顕著な能力を発揮している。 通常、LLMは大きなコーパスで事前訓練され、タスク固有のデータセットで微調整される。 しかし、微調整の間、LLMは事前訓練の段階で得られた知識を忘れてしまい、一般的な能力は低下する。 この問題に対処するために,Momentum-Filtered Optimizer (MoFO) と呼ばれる新しい微調整アルゴリズムを提案する。 MoFOの鍵となる考え方は、モデルパラメータを最大運動量で反復的に選択し、更新することである。 フルパラメータトレーニングと比較して、MoFOはトレーニング済みモデルにパラメータを近づけながら、同様の微調整性能を達成し、知識の忘れを緩和する。 緩和を忘れる既存の方法とは異なり、MoFOは以下の2つの利点を組み合わせている。 まず、MoFOは事前トレーニングデータへのアクセスを必要としない。 これにより、MoFOは特に、チェックポイントのみのオープンソース LLM など、事前トレーニングデータが利用できない微調整シナリオに適している。 第二に、MoFOは元の損失関数を変更しない。 これにより、微調整タスクのモデルパフォーマンスが損なわれるのを避けることができる。 我々は、厳密な収束解析と広範囲な実験を通してMoFOを検証し、既存の方法よりも優れていることを実証し、微調整性能を低下させ、向上させた。

関連論文リスト

• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• LoRA Unlearns More and Retains More (Student Abstract) [0.0]
  PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。 そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-11-16T16:47:57Z)
• Pruning Foundation Models for High Accuracy without Retraining [48.256389781305415]
  基礎モデルや大規模言語モデル(LLM)の展開は、膨大なパラメータと計算量のために困難である。 ワンショットでLLMを再訓練せずにプルーンする訓練後プルーニング法が提案されている。 本実験は,SOTAベースラインと比較して提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-21T01:23:34Z)
• Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models [4.081098869497239]
  我々は,大規模言語モデル(LLM)に対する最先端のプライバシ攻撃を開発する。 事前訓練されたLLMに対する新たなメンバーシップ推論攻撃(MIA)は、ベースライン攻撃の数百倍の精度で実行される。 微調整では, ベースモデルと微調整モデルとの損失率に基づく単純な攻撃により, ほぼ完全なMIA性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T20:41:50Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)
• nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
  我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。 トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
  論文  参考訳（メタデータ） (2023-04-14T00:45:01Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。