論文の概要: Speciality vs Generality: An Empirical Study on Catastrophic Forgetting
in Fine-tuning Foundation Models
- arxiv url: http://arxiv.org/abs/2309.06256v1
- Date: Tue, 12 Sep 2023 14:16:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 12:41:00.787694
- Title: Speciality vs Generality: An Empirical Study on Catastrophic Forgetting
in Fine-tuning Foundation Models
- Title（参考訳）: 特殊対一般性:微調整基礎モデルにおける破滅的忘れ方に関する実証的研究
- Authors: Yong Lin, Lu Tan, Hangyu Lin, Zeming Zheng, Renjie Pi, Jipeng Zhang,
Shizhe Diao, Haoxiang Wang, Han Zhao, Yuan Yao, and Tong Zhang
- Abstract要約: VLM(Vision Language Models)やLLM(Large Language Models)を含む基礎モデルは、様々な分散やタスクを扱うために$ Generality$を持っている。
基礎モデルの微調整は、タスクのパフォーマンスを高めたり、モデルの振る舞いを人間の期待に合わせるための一般的なプラクティスである。
しかし、微調整に使われる小さなデータセットは、事前トレーニング中に遭遇する多様な分布やタスクを適切にカバーしていない可能性がある。
- 参考スコア（独自算出の注目度）: 37.78919009184374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models, including Vision Language Models (VLMs) and Large Language
Models (LLMs), possess the $generality$ to handle diverse distributions and
tasks, which stems from their extensive pre-training datasets. The fine-tuning
of foundation models is a common practice to enhance task performance or align
the model's behavior with human expectations, allowing them to gain
$speciality$. However, the small datasets used for fine-tuning may not
adequately cover the diverse distributions and tasks encountered during
pre-training. Consequently, the pursuit of speciality during fine-tuning can
lead to a loss of {generality} in the model, which is related to catastrophic
forgetting (CF) in deep learning. In this study, we demonstrate this phenomenon
in both VLMs and LLMs. For instance, fine-tuning VLMs like CLIP on ImageNet
results in a loss of generality in handling diverse distributions, and
fine-tuning LLMs like Galactica in the medical domain leads to a loss in
following instructions and common sense.
To address the trade-off between the speciality and generality, we
investigate multiple regularization methods from continual learning, the weight
averaging method (Wise-FT) from out-of-distributional (OOD) generalization,
which interpolates parameters between pre-trained and fine-tuned models, and
parameter-efficient fine-tuning methods like Low-Rank Adaptation (LoRA). Our
findings show that both continual learning and Wise-ft methods effectively
mitigate the loss of generality, with Wise-FT exhibiting the strongest
performance in balancing speciality and generality.
- Abstract（参考訳）: Vision Language Models (VLM) やLarge Language Models (LLMs) を含む基礎モデルは、様々な分散やタスクを扱うために$ Generality$を持っている。
ファウンデーションモデルの微調整は、タスクパフォーマンスを高めたり、モデルの振る舞いを人間の期待と整合させ、$speciality$を得られるようにする一般的なプラクティスである。
しかし、微調整に使われる小さなデータセットは、事前トレーニング中に遭遇する多様な分布やタスクを適切にカバーしていない可能性がある。
その結果、微調整中の特殊性の追求は、ディープラーニングにおける破滅的忘れ(CF)に関連するモデルにおける一般性の喪失につながる可能性がある。
本研究では,この現象をVLMとLLMの両方で実証する。
例えば、ImageNet上のCLIPのような微調整のVLMは、多様な分布を扱う際の一般性の喪失を招き、医療領域におけるGalacticaのような微調整のLLMは、次の指示と常識の喪失をもたらす。
専門性と一般性のトレードオフに対処するために,連続学習からの複数の正規化法,事前学習モデルと微調整モデルのパラメータを補間するout-of-distributional(ood)一般化からの重み平均化法(wise-ft),低ランク適応(lora)などのパラメータ効率の良い微調整法について検討した。
本研究は,Wise-FTが専門性と一般性のバランスを保ち,継続学習とWise-ftの両手法が汎用性の喪失を効果的に軽減することを示した。
関連論文リスト
- SAIL: Self-Improving Efficient Online Alignment of Large Language Models [56.59644677997827]
人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための重要な方法である。
近年の文献では、オンラインRLHF法の設計に焦点が当てられているが、統一された概念的定式化はいまだに欠けている。
提案手法は,計算オーバーヘッドを最小限に抑えたオープンソースデータセットのアライメント性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-06-21T18:05:35Z) - Joint Demonstration and Preference Learning Improves Policy Alignment with Human Feedback [58.049113055986375]
我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。
提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。
本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-06-11T01:20:53Z) - A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques [63.10251271444959]
大規模言語モデルは最初、数兆のトークンで事前訓練され、その後、特定の好みに合わせて命令調整または調整される。
我々は,3つの重要な軸に対する人気選択の影響を詳細に調査する。
300以上の実験にまたがるセットアップでは、一貫した傾向と予期せぬ結果が明らかになる。
論文 参考訳（メタデータ） (2024-06-07T12:25:51Z) - Online Merging Optimizers for Boosting Rewards and Mitigating Tax in Alignment [47.682736928029996]
大規模言語モデル(LLM)は、事前訓練と監視ファインチューニング(SFT)によって得られる能力の劣化を防止しつつ、人間中心の値と整合するように設計されている。
本稿では、RLHFとSFTモデルパラメータを補間することにより、人間の好みと基本能力のトレードオフを調整し、アライメント税を低減できることを示す。
これはアライメント税を軽減しつつアライメント報酬を大幅に向上させ、14のベンチマークで全体のパフォーマンスを向上する。
論文 参考訳（メタデータ） (2024-05-28T07:53:40Z) - On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization [33.331389392270665]
選好マッチング(PM) RLHF はBradley-Terry--Luce/Plackett--Luce モデルの下で、大きな言語モデルと報酬モデルの選好分布を整合させる新しいアプローチである。
我々のアプローチの中心はPM正則化器であり、応答上の LLM のポリシー確率分布の負の対数の形を取る。
本稿では,自然言語生成に適した条件付きPM RLHFを提案する。
論文 参考訳（メタデータ） (2024-05-26T07:00:05Z) - Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。
HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
論文 参考訳（メタデータ） (2024-05-24T16:18:16Z) - Understanding the Effects of RLHF on LLM Generalisation and Diversity [26.56388427640671]
人間のフィードバック(RLHF)からの強化学習によって微調整された大規模言語モデル(LLM)は、これまで最も広くデプロイされたAIモデルの一部で使用されている。
プロセスの各段階が2つの重要な特性、すなわちアウト・オブ・ディストリビューション(OOD)の一般化と出力の多様性にどのように影響するかを解析する。
論文 参考訳（メタデータ） (2023-10-10T09:25:44Z) - Supervised Hyperalignment for multi-subject fMRI data alignment [81.8694682249097]
本稿では,MVP解析における機能的アライメントを改善するために,SHA(Supervised Hyperalignment)手法を提案する。
マルチオブジェクトデータセットの実験では、SHA法は最大19%の性能がマルチクラス問題に対して達成されている。
論文 参考訳（メタデータ） (2020-01-09T09:17:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。