論文の概要: Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models
- arxiv url: http://arxiv.org/abs/2404.06448v1
- Date: Tue, 9 Apr 2024 16:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 13:51:47.796729
- Title: Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models
- Title（参考訳）: 大規模言語モデルのパラメータ効率の良い微調整のための自動フェデレーションパイプライン
- Authors: Zihan Fang, Zheng Lin, Zhe Chen, Xianhao Chen, Yue Gao, Yuguang Fang,
- Abstract要約: 多くの下流タスクでは、プライベートデータを使用して大きな言語モデル(LLM)を微調整する必要がある。
我々はFedPipeという自動フェデレーションパイプラインを提案し、最小のトレーニングコストでLLMを微調整する。
大規模な実験では、FedPipeがモデルのトレーニングを高速化し、最先端のベンチマークよりも高い精度を達成することが示されている。
- 参考スコア（独自算出の注目度）: 21.864109456867784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been a surge in the development of advanced intelligent generative content (AIGC), especially large language models (LLMs). However, for many downstream tasks, it is necessary to fine-tune LLMs using private data. While federated learning offers a promising privacy-preserving solution to LLM fine-tuning, the substantial size of an LLM, combined with high computational and communication demands, makes it hard to apply to downstream tasks. More importantly, private edge servers often possess varying computing and network resources in real-world scenarios, introducing additional complexities to LLM fine-tuning. To tackle these problems, we design and implement an automated federated pipeline, named FedPipe, to fine-tune LLMs with minimal training cost but without adding any inference latency. FedPipe firstly identifies the weights to be fine-tuned based on their contributions to the LLM training. It then configures a low-rank adapter for each selected weight to train local low-rank adapters on an edge server, and aggregate local adapters of all edge servers to fine-tune the whole LLM. Finally, it appropriately quantizes the parameters of LLM to reduce memory space according to the requirements of edge servers. Extensive experiments demonstrate that FedPipe expedites the model training and achieves higher accuracy than state-of-the-art benchmarks.
- Abstract（参考訳）: 近年,高度知的生成コンテンツ(AIGC),特に大規模言語モデル(LLM)の開発が急増している。
しかし、多くの下流タスクでは、プライベートデータを使ってLLMを微調整する必要がある。
連合学習はLLMの微調整に有望なプライバシー保護ソリューションを提供するが、LLMのかなりのサイズと高い計算と通信の要求が組み合わさって、下流のタスクに適用することは困難である。
さらに重要なことは、プライベートエッジサーバは、現実のシナリオにおいて様々なコンピューティングとネットワークリソースを持ち、LLMの微調整にさらなる複雑さを導入していることだ。
これらの問題に対処するため、我々はFedPipeという自動フェデレーションパイプラインを設計、実装し、最小のトレーニングコストでLLMを微調整するが、推論遅延を追加しない。
FedPipeはまず、LLMトレーニングへのコントリビューションに基づいて、微調整するウェイトを特定します。
次に、選択したウェイトごとにローランクアダプタを設定して、エッジサーバ上のローカルローランクアダプタをトレーニングし、すべてのエッジサーバのローカルアダプタを集約してLLM全体を微調整する。
最後に、エッジサーバの要求に応じて、LLMのパラメータを適切に定量化し、メモリ空間を削減する。
大規模な実験では、FedPipeがモデルのトレーニングを高速化し、最先端のベンチマークよりも高い精度を達成することが示されている。
関連論文リスト
- LlamaDuo: LLMOps Pipeline for Seamless Migration from Service LLMs to Small-Scale Local LLMs [11.664088080448593]
LlamaDuo"は、サービス指向の大規模言語モデルから、より小さく、ローカルに管理可能なモデルに移行するためのパイプラインである。
当社のパイプラインは,運用上の障害や厳格なプライバシポリシ,あるいはオフライン要件の存在下でのサービス継続性の確保に不可欠です。
論文 参考訳（メタデータ） (2024-08-24T05:03:08Z) - FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。
多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。
我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
論文 参考訳（メタデータ） (2024-06-25T16:45:47Z) - Crayon: Customized On-Device LLM via Instant Adapter Blending and Edge-Server Hybrid Inference [20.666893617591136]
オンデバイス LLM カスタマイズのための新しいアプローチである Crayon を提案する。
我々は,より要求の多いクエリや非カスタマイズタスクをサーバ上のより大きな,より有能なLDMに確実に割り当てるデバイスサーバハイブリッド推論戦略を開発する。
論文 参考訳（メタデータ） (2024-06-11T07:00:08Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳（メタデータ） (2023-12-11T13:03:21Z) - Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。
動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。
本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
論文 参考訳（メタデータ） (2023-10-13T07:38:52Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。