論文の概要: FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model
- arxiv url: http://arxiv.org/abs/2406.17706v1
- Date: Tue, 25 Jun 2024 16:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 13:41:09.710059
- Title: FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model
- Title（参考訳）: FedBiOT: フルモデルなしのフェデレーション学習におけるLLM局所微調整
- Authors: Feijie Wu, Zitao Li, Yaliang Li, Bolin Ding, Jing Gao,
- Abstract要約: 大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。
多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。
我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
- 参考スコア（独自算出の注目度）: 48.33280660752336
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) show amazing performance on many domain-specific tasks after fine-tuning with some appropriate data. However, many domain-specific data are privately distributed across multiple owners. Thus, this dilemma raises the interest in how to perform LLM fine-tuning in federated learning (FL). However, confronted with limited computation and communication capacities, FL clients struggle to fine-tune an LLM effectively. To this end, we introduce FedBiOT, a resource-efficient LLM fine-tuning approach to FL. Specifically, our method involves the server generating a compressed LLM and aligning its performance with the full model. Subsequently, the clients fine-tune a lightweight yet important part of the compressed model, referred to as an adapter. Notice that as the server has no access to the private data owned by the clients, the data used for alignment by the server has a different distribution from the one used for fine-tuning by clients. We formulate the problem into a bi-level optimization problem to minimize the negative effect of data discrepancy and derive the updating rules for the server and clients. We conduct extensive experiments on LLaMA-2, empirically showing that the adapter has exceptional performance when reintegrated into the global LLM. The results also indicate that the proposed FedBiOT significantly reduces resource consumption compared to existing benchmarks, all while achieving comparable performance levels.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。
しかし、多くのドメイン固有のデータは、プライベートに複数の所有者に分散されている。
したがって、このジレンマは、連邦学習(FL)におけるLLM微調整の実行方法への関心を高めている。
しかし、限られた計算能力と通信能力に直面すると、FLクライアントはLLMを効果的に微調整するのに苦労した。
この目的のために,FL に対する資源効率の高い LLM 微調整手法である FedBiOT を導入する。
具体的には、サーバが圧縮LDMを生成し、その性能をフルモデルと整合させる。
その後、クライアントは、アダプタと呼ばれる圧縮モデルの軽量だが重要な部分を微調整する。
サーバがクライアントが所有するプライベートデータにアクセスできないため、サーバによるアライメントに使われるデータは、クライアントによる微調整に使われるものとは異なる分布を持つ。
この問題を二段階最適化問題に定式化し、データ差の負の効果を最小限に抑え、サーバとクライアントの更新ルールを導出する。
我々はLLaMA-2の広範囲な実験を行い、このアダプタがグローバルLLMに再統合された場合、例外的な性能を示すことを実証した。
また、提案したFedBiOTは、既存のベンチマークと比較してリソース消費を著しく削減すると同時に、同等のパフォーマンスレベルを実現していることを示す。
関連論文リスト
- Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳（メタデータ） (2024-07-09T08:14:29Z) - SplitLoRA: A Split Parameter-Efficient Fine-Tuning Framework for Large Language Models [23.1321591734785]
SplitLoRAはSFLフレームワーク上に構築されており、FLからの並列トレーニングとSLからのモデル分割の利点を融合している。
SplitLoRAはSL LLMファインチューニングのための最初のオープンソースベンチマークである。
論文 参考訳（メタデータ） (2024-07-01T04:13:25Z) - Automated Federated Pipeline for Parameter-Efficient Fine-Tuning of Large Language Models [21.864109456867784]
多くの下流タスクでは、プライベートデータを使用して大きな言語モデル(LLM)を微調整する必要がある。
我々はFedPipeという自動フェデレーションパイプラインを提案し、最小のトレーニングコストでLLMを微調整する。
大規模な実験では、FedPipeがモデルのトレーニングを高速化し、最先端のベンチマークよりも高い精度を達成することが示されている。
論文 参考訳（メタデータ） (2024-04-09T16:50:30Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。
FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。
サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文 参考訳（メタデータ） (2023-12-11T13:03:21Z) - CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without
Full Large Language Model [22.870512676002463]
本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。
これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。
以上の結果から,CRaShとOFTの有効性が明らかとなった。
論文 参考訳（メタデータ） (2023-10-24T03:08:58Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳（メタデータ） (2023-09-01T09:40:36Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。