論文の概要: OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning
- arxiv url: http://arxiv.org/abs/2402.06954v1
- Date: Sat, 10 Feb 2024 13:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:35:59.516499
- Title: OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning
- Title(参考訳): OpenFedLLM: フェデレートラーニングによる分散プライベートデータによる大規模言語モデルのトレーニング
- Authors: Rui Ye, Wenhao Wang, Jingyi Chai, Dihan Li, Zexi Li, Yinda Xu, Yaxin
Du, Yanfeng Wang, Siheng Chen
- Abstract要約: 大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。
本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。
私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
- 参考スコア(独自算出の注目度): 44.200613313936024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trained on massive publicly available data, large language models (LLMs) have
demonstrated tremendous success across various fields. While more data
contributes to better performance, a disconcerting reality is that high-quality
public data will be exhausted in a few years. In this paper, we offer a
potential next step for contemporary LLMs: collaborative and privacy-preserving
LLM training on the underutilized distributed private data via federated
learning (FL), where multiple data owners collaboratively train a shared model
without transmitting raw data. To achieve this, we build a concise, integrated,
and research-friendly framework/codebase, named OpenFedLLM. It covers federated
instruction tuning for enhancing instruction-following capability, federated
value alignment for aligning with human values, and 7 representative FL
algorithms. Besides, OpenFedLLM supports training on diverse domains, where we
cover 8 training datasets; and provides comprehensive evaluations, where we
cover 30+ evaluation metrics. Through extensive experiments, we observe that
all FL algorithms outperform local training on training LLMs, demonstrating a
clear performance improvement across a variety of settings. Notably, in a
financial benchmark, Llama2-7B fine-tuned by applying any FL algorithm can
outperform GPT-4 by a significant margin while the model obtained through
individual training cannot, demonstrating strong motivation for clients to
participate in FL. The code is available at
https://github.com/rui-ye/OpenFedLLM.
- Abstract(参考訳): 大規模な公開データに基づいてトレーニングされた大規模言語モデル(LLM)は、さまざまな分野で大きな成功を収めている。
より多くのデータがパフォーマンス向上に寄与する一方で、数年のうちに高品質な公開データが枯渇する、という不満の現実がある。
本稿では,複数のデータ所有者が生データを送信せずに協調的に共有モデルを訓練するFederated Learning (FL) を通じて,未利用の分散プライベートデータに対する協調的・プライバシ保護LDMトレーニングを行う。
そこで我々はOpenFedLLMという,簡潔で統合された,研究に優しいフレームワーク/コードベースを構築した。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーする。
さらに、openfedllmは、8つのトレーニングデータセットをカバーするさまざまなドメインのトレーニングをサポートし、30以上の評価メトリクスをカバーする総合的な評価を提供する。
広範にわたる実験により、全てのFLアルゴリズムがLLMの訓練において局所的な訓練よりも優れており、様々な環境において明らかな性能改善が示されている。
特に、金融ベンチマークにおいて、FLアルゴリズムを適用することで微調整されたLlama2-7Bは、個別のトレーニングで得られたモデルは不可能であり、クライアントがFLに参加する強い動機を示す。
コードはhttps://github.com/rui-ye/openfedllmで入手できる。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳(メタデータ) (2023-05-09T17:42:34Z) - Differentially Private Vertical Federated Learning [14.690310701654827]
本稿では,個々の組織データのプライバシーを,差分プライバシー(DP)設定で保護する方法を検討する。
以上の結果から,垂直FL性能とプライバシ保護のバランスをとるためには,トレードオフ点を見つける必要があることが示唆された。
論文 参考訳(メタデータ) (2022-11-13T01:24:38Z) - Federated Multilingual Models for Medical Transcript Analysis [11.877236847857336]
大規模多言語モデルを学習するための連合学習システムを提案する。
トレーニングデータはすべて、中央に送信されることはない。
本研究では,グローバルモデルの性能を,局所的に行うトレーニングステップによってさらに向上させることができることを示す。
論文 参考訳(メタデータ) (2022-11-04T01:07:54Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳(メタデータ) (2021-08-19T12:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。