論文の概要: EBFT: Effective and Block-Wise Fine-Tuning for Sparse LLMs
- arxiv url: http://arxiv.org/abs/2402.12419v1
- Date: Mon, 19 Feb 2024 09:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 18:53:18.114116
- Title: EBFT: Effective and Block-Wise Fine-Tuning for Sparse LLMs
- Title(参考訳): EBFT:Sparse LLMにおける有効かつブロックワイズファインチューニング
- Authors: Song Guo, Fan Wu, Lei Zhang, Xiawu Zheng, Shengchuan Zhang, Fei Chao,
Yiyu Shi, Rongrong Ji
- Abstract要約: スパースLLMを微調整する既存の方法は、しばしば資源集約的な要求と高い再訓練コストに悩まされる。
再構成誤差の最小化に基づくスパルスLLMの微調整のための効率的かつ高速なフレームワークを提案する。
提案手法では, キャリブレーションのための小さなデータセットをサンプリングし, バックプロパゲーションを利用してブロックワイズ復元誤差を反復的に最適化する。
- 参考スコア(独自算出の注目度): 68.41135269685576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods for fine-tuning sparse LLMs often suffer from
resource-intensive requirements and high retraining costs. Additionally, many
fine-tuning methods often rely on approximations or heuristic optimization
strategies, which may lead to suboptimal solutions. To address these issues, we
propose an efficient and fast framework for fine-tuning sparse LLMs based on
minimizing reconstruction error. Our approach involves sampling a small dataset
for calibration and utilizing backpropagation to iteratively optimize
block-wise reconstruction error, on a block-by-block basis, aiming for optimal
solutions. Extensive experiments on various benchmarks consistently demonstrate
the superiority of our method over other baselines. For instance, on the
Wikitext2 dataset with LlamaV1-7B at 70% sparsity, our proposed EBFT achieves a
perplexity of 16.88, surpassing the state-of-the-art DSnoT with a perplexity of
75.14. Moreover, with a structured sparsity ratio of 26\%, EBFT achieves a
perplexity of 16.27, outperforming LoRA (perplexity 16.44). Furthermore, the
fine-tuning process of EBFT for LlamaV1-7B only takes approximately 30 minutes,
and the entire framework can be executed on a single 16GB GPU. The source code
is available at https://github.com/sunggo/EBFT.
- Abstract(参考訳): スパースLLMを微調整する既存の方法は、しばしば資源集約的な要求と高い再訓練コストに悩まされる。
さらに、多くの微調整手法は近似やヒューリスティック最適化戦略に頼り、最適化の準最適解に繋がることがある。
これらの問題に対処するために,再構成誤差の最小化に基づくスパースLLMの微調整のための効率的かつ高速なフレームワークを提案する。
提案手法では,キャリブレーションのための小さなデータセットをサンプリングし,ブロック単位の復元誤差をブロック単位で反復的に最適化し,最適解を目指す。
様々なベンチマークに関する広範囲な実験により、他のベースラインよりも優れた方法が実証された。
例えば、LlamaV1-7Bを70%間隔でWikitext2データセット上で、提案したEBFTは16.88のパープレキシティを実現し、最先端のDSnoTを75.14のパープレキシティで上回っている。
さらに、構成された間隔比26\%で、EBFTは16.27のパープレキシティを達成し、LoRA(パープレキシティ16.44)を上回っている。
さらに、LlamaV1-7B用のEBFTの微調整プロセスは、約30分しかかからず、フレームワーク全体が単一の16GB GPU上で実行できる。
ソースコードはhttps://github.com/sunggo/EBFT.comで入手できる。
関連論文リスト
- BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [55.61026644837707]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
これにより、1つのGPU上で0.5時間以内に70億重量のLLMをバイナライズし、良好な時間効率を示すことができる。
論文 参考訳(メタデータ) (2024-02-06T09:26:34Z) - Fast Trainable Projection for Robust Fine-Tuning [36.51660287722338]
ロバスト微調整は、競争力のある分散内分散(ID)性能を達成することを目的としている。
プロジェクションベースの微調整は頑健な微調整に成功している。
Fast Trainable Projectionはプロジェクションベースのファインチューニングアルゴリズムである。
論文 参考訳(メタデータ) (2023-10-29T22:52:43Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Parallel Bayesian Optimization Using Satisficing Thompson Sampling for
Time-Sensitive Black-Box Optimization [0.0]
本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。
ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。
リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2023-10-19T07:03:51Z) - Trainable Projected Gradient Method for Robust Fine-tuning [36.470333094917436]
本研究では,各層に課される制約を自動的に学習し,微粒な微調整正規化を実現するために,TPGM(Traiable Projected Gradient Method)を提案する。
これは二段階制約最適化問題としてファインチューニングを定式化することによって動機付けられる。
TPGM は OOD 性能における既存の微調整手法よりも優れた性能を示し,ID 性能に適合することを示した。
論文 参考訳(メタデータ) (2023-03-19T17:30:44Z) - Advancing Model Pruning via Bi-level Optimization [89.88761425199598]
イテレーティブ・マグニチュード・プルーニング(IMP)は,「入賞券」の発見に成功するプルーニング法である
ワンショットプルーニング法が開発されているが、これらのスキームは通常IMPほど勝利のチケットを見つけることができない。
提案手法は,双線形問題構造を持つBLO問題の特別なクラスであることを示す。
論文 参考訳(メタデータ) (2022-10-08T19:19:29Z) - Fast Bayesian Optimization of Needle-in-a-Haystack Problems using
Zooming Memory-Based Initialization [73.96101108943986]
Needle-in-a-Haystack問題は、データセットのサイズに対して最適な条件が極端に不均衡であるときに発生する。
本稿では,従来のベイズ最適化原理に基づくズームメモリに基づく初期化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-26T23:57:41Z) - Learning Optimal Solutions via an LSTM-Optimization Framework [0.0]
動的混合整数プログラムに取り組むためのディープラーニング最適化フレームワークを提案する。
我々は,情報を前後に処理できる双方向長短期記憶(LSTM)フレームワークを開発した。
本研究は, 単体容量化ロットサイズ問題に対する最適決定の予測におけるアプローチを実証する。
論文 参考訳(メタデータ) (2022-07-06T19:38:01Z) - Provable Stochastic Optimization for Global Contrastive Learning: Small
Batch Does Not Harm Performance [53.49803579981569]
各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。
SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。
本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-24T22:16:53Z) - TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with
Auto-Parallelism [21.980316675614787]
優れた並列化戦略は、ディープニューラルネットワーク(DNN)の分散トレーニングの効率を大幅に改善したり、コストを削減したりすることができる。
我々は,異なる目的間のトレードオフを可能にするために,並列化戦略の最適セットを探索する効率的なアルゴリズムFTを提案する。
我々はまた,ユーザが並列化戦略の詳細を気にすることなく分散DNNトレーニングジョブを実行できる,ユーザフレンドリーなシステムであるOptを開発した。
論文 参考訳(メタデータ) (2020-04-16T02:57:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。