論文の概要: Language Models are Super Mario: Absorbing Abilities from Homologous
Models as a Free Lunch
- arxiv url: http://arxiv.org/abs/2311.03099v1
- Date: Mon, 6 Nov 2023 13:43:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 14:09:48.161873
- Title: Language Models are Super Mario: Absorbing Abilities from Homologous
Models as a Free Lunch
- Title(参考訳): 言語モデルはスーパーマリオ:自由ランチとしての相同モデルから能力を吸収する
- Authors: Le Yu, Bowen Yu, Haiyang Yu, Fei Huang, Yongbin Li
- Abstract要約: 言語モデル(LM)は、モデルのパラメータを同化することで、新しい機能を得ることができる。
SFT(Supervised Fine-Tuning)によるLMの新たな機能付与
GLUEベンチマークの8つのデータセットに対してBERTとRoBERTaを用いて実験を行った。
- 参考スコア(独自算出の注目度): 78.29150585162319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we uncover that Language Models (LMs), either encoder- or
decoder-based, can obtain new capabilities by assimilating the parameters of
homologous models without retraining or GPUs. Typically, new abilities of LMs
can be imparted by Supervised Fine-Tuning (SFT), reflected in the disparity
between fine-tuned and pre-trained parameters (i.e., delta parameters). We
initially observe that by introducing a novel operation called DARE (Drop And
REscale), most delta parameters can be directly set to zeros without affecting
the capabilities of SFT LMs and larger models can tolerate a higher proportion
of discarded parameters. Based on this observation, we further sparsify delta
parameters of multiple SFT homologous models with DARE and subsequently merge
them into a single model by parameter averaging. We conduct experiments on
eight datasets from the GLUE benchmark with BERT and RoBERTa. We also merge
WizardLM, WizardMath, and Code Alpaca based on Llama 2. Experimental results
show that: (1) The delta parameter value ranges for SFT models are typically
small, often within 0.005, and DARE can eliminate 99% of them effortlessly.
However, once the models are continuously pre-trained, the value ranges can
grow to around 0.03, making DARE impractical. We have also tried to remove
fine-tuned instead of delta parameters and find that a 10% reduction can lead
to drastically decreased performance (even to 0). This highlights that SFT
merely stimulates the abilities via delta parameters rather than injecting new
abilities into LMs; (2) DARE can merge multiple task-specific LMs into one LM
with diverse abilities. For instance, the merger of WizardLM and WizardMath
improves the GSM8K zero-shot accuracy of WizardLM from 2.2 to 66.3, retaining
its instruction-following ability while surpassing WizardMath's original 64.2
performance. Codes are available at https://github.com/yule-BUAA/MergeLM.
- Abstract(参考訳): 本稿では,エンコーダベースかデコーダベースかの言語モデル (LM) が,リトレーニングやGPUを使わずにホモロジーモデルのパラメータを同化することにより,新たな能力を得ることができることを示す。
通常、LMの新しい能力は、微調整されたパラメータと事前訓練されたパラメータ(デルタパラメータ)の相違に反映されるスーパービジョン・ファインチューニング(SFT)によって付与される。
dare (drop and rescale) と呼ばれる新しい演算を導入することで、ほとんどのデルタパラメータはsft lmsの能力に影響を与えずに直接ゼロに設定でき、より大きなモデルでは廃棄されたパラメータのより高い比率を許容できる。
そこで本研究では,複数のSFT相同モデルのデルタパラメータをDAREに分散し,パラメータ平均化により単一モデルにマージする。
GLUEベンチマークの8つのデータセットに対してBERTとRoBERTaを用いて実験を行った。
また、Llama 2.0をベースにしたWizardLM、WizardMath、Code Alpacaも統合しました。
実験の結果,(1) SFTモデルのデルタパラメータ値範囲は通常小さく, 0.005の範囲内であり, DAREは99%を無駄に除去できることがわかった。
しかし、モデルが継続的に事前訓練されると、値範囲は0.03に増加し、DAREは非現実的になる。
また, デルタパラメータの代わりに微調整を施すことも試みており, 10%の削減で性能が劇的に低下すること (0。
これは、sftが単に新しい能力をlmsに注入するのではなく、デルタパラメータを介して能力を刺激するだけであることを強調する。
例えば、WizardLMとWizardMathの合併は、WizardLMのGSM8Kゼロショット精度を2.2から66.3に改善し、WizardMathの64.2性能を上回りながら命令追従能力を維持した。
コードはhttps://github.com/yule-buaa/mergelmで入手できる。
関連論文リスト
- Comparing Hyper-optimized Machine Learning Models for Predicting Efficiency Degradation in Organic Solar Cells [39.58317527488534]
本研究は,有機太陽電池 (OSC) の電力変換効率 (PCE) に苦しむ時間的劣化を表現するための機械学習モデルを提案する。
製造プロセスと環境条件の両方に関して最大7変数を含む996項目のデータベースを180日間以上作成しました。
一方、根平均二乗誤差(RMSE)、二乗誤差(SSE)の和、および平均絶対誤差(MAE)>1%の目標値であるPCEは、係数決定(R2)の値に達した。
論文 参考訳(メタデータ) (2024-03-29T22:05:26Z) - Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。
本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。
提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
論文 参考訳(メタデータ) (2024-01-29T18:43:49Z) - Large Language Models aren't all that you need [0.0]
本稿では,SemEval 2023 Task 2: MultiCoNER IIを解くために構築されたアーキテクチャとシステムについて述べる。
a)従来のランダムフィールドモデルと(b)カスタマイズされた頭で微調整されたLarge Language Model(LLM)の2つのアプローチを評価し、その2つのアプローチを比較した。
論文 参考訳(メタデータ) (2024-01-01T08:32:50Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with
Communication Cost under 18 Kilobytes [56.67419203687434]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳(メタデータ) (2023-12-11T13:03:21Z) - Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。
本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
論文 参考訳(メタデータ) (2023-05-27T02:28:10Z) - PALT: Parameter-Lite Transfer of Language Models for Knowledge Graph
Completion [108.8941541255567]
本稿では,知識グラフ(KG)完成のための事前学習言語モデル(LM)のパラメータ・ライト変換学習手法を提案する。
全てのLMパラメータを微調整する代わりに、元のLMパラメータを固定しながら、いくつかの新しいパラメータを調整します。
本研究は,マイクロチューニングよりもはるかに少ないパラメータをチューニングすることにより,ほとんどのタスクに非自明に伝達し,従来の最先端手法と競合することを示す。
論文 参考訳(メタデータ) (2022-10-25T02:22:29Z) - CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。
我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。
計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
論文 参考訳(メタデータ) (2021-06-20T15:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。