論文の概要: OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning
- arxiv url: http://arxiv.org/abs/2402.06954v1
- Date: Sat, 10 Feb 2024 13:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:35:59.516499
- Title: OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning
- Title（参考訳）: OpenFedLLM: フェデレートラーニングによる分散プライベートデータによる大規模言語モデルのトレーニング
- Authors: Rui Ye, Wenhao Wang, Jingyi Chai, Dihan Li, Zexi Li, Yinda Xu, Yaxin
Du, Yanfeng Wang, Siheng Chen
- Abstract要約: 大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。
本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。
私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
- 参考スコア（独自算出の注目度）: 44.200613313936024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Trained on massive publicly available data, large language models (LLMs) have
demonstrated tremendous success across various fields. While more data
contributes to better performance, a disconcerting reality is that high-quality
public data will be exhausted in a few years. In this paper, we offer a
potential next step for contemporary LLMs: collaborative and privacy-preserving
LLM training on the underutilized distributed private data via federated
learning (FL), where multiple data owners collaboratively train a shared model
without transmitting raw data. To achieve this, we build a concise, integrated,
and research-friendly framework/codebase, named OpenFedLLM. It covers federated
instruction tuning for enhancing instruction-following capability, federated
value alignment for aligning with human values, and 7 representative FL
algorithms. Besides, OpenFedLLM supports training on diverse domains, where we
cover 8 training datasets; and provides comprehensive evaluations, where we
cover 30+ evaluation metrics. Through extensive experiments, we observe that
all FL algorithms outperform local training on training LLMs, demonstrating a
clear performance improvement across a variety of settings. Notably, in a
financial benchmark, Llama2-7B fine-tuned by applying any FL algorithm can
outperform GPT-4 by a significant margin while the model obtained through
individual training cannot, demonstrating strong motivation for clients to
participate in FL. The code is available at
https://github.com/rui-ye/OpenFedLLM.
- Abstract（参考訳）: 大規模な公開データに基づいてトレーニングされた大規模言語モデル(LLM)は、さまざまな分野で大きな成功を収めている。
より多くのデータがパフォーマンス向上に寄与する一方で、数年のうちに高品質な公開データが枯渇する、という不満の現実がある。
本稿では,複数のデータ所有者が生データを送信せずに協調的に共有モデルを訓練するFederated Learning (FL) を通じて,未利用の分散プライベートデータに対する協調的・プライバシ保護LDMトレーニングを行う。
そこで我々はOpenFedLLMという,簡潔で統合された,研究に優しいフレームワーク/コードベースを構築した。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーする。
さらに、openfedllmは、8つのトレーニングデータセットをカバーするさまざまなドメインのトレーニングをサポートし、30以上の評価メトリクスをカバーする総合的な評価を提供する。
広範にわたる実験により、全てのFLアルゴリズムがLLMの訓練において局所的な訓練よりも優れており、様々な環境において明らかな性能改善が示されている。
特に、金融ベンチマークにおいて、FLアルゴリズムを適用することで微調整されたLlama2-7Bは、個別のトレーニングで得られたモデルは不可能であり、クライアントがFLに参加する強い動機を示す。
コードはhttps://github.com/rui-ye/openfedllmで入手できる。
関連論文リスト
- Data Quality Control in Federated Instruction-tuning of Large Language Models [43.29678396558287]
データ品質制御(FedDQC)を備えた大規模言語モデル(LLM)のフェデレーション・インストラクション・チューニングの新しいフレームワークを提案する。
提案手法では,各クライアントの命令応答アライメント(IRA)を評価するための効率的なメトリクスを導入し,単一ショット推論によるノイズの多いデータを同定する。
我々は4つの合成データセットと実世界のデータセットについて広範な実験を行い、この手法を集中的な設定から適応したベースラインと比較した。
論文 参考訳（メタデータ） (2024-10-15T12:14:57Z) - Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models [48.484485609995986]
フェデレートラーニングにより、複数のパーティがデータを直接共有することなく、協力的に大きな言語モデルをトレーニングできるようになった(FedLLM)。
現在、FedLLMの現実的なデータセットやベンチマークは存在しない。
我々は,8つのトレーニング手法,4つのトレーニングデータセット,6つの評価指標を含むFedLLM-Benchを提案する。
論文 参考訳（メタデータ） (2024-06-07T11:19:30Z) - Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2024-05-10T11:52:53Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Federated Multilingual Models for Medical Transcript Analysis [11.877236847857336]
大規模多言語モデルを学習するための連合学習システムを提案する。
トレーニングデータはすべて、中央に送信されることはない。
本研究では,グローバルモデルの性能を,局所的に行うトレーニングステップによってさらに向上させることができることを示す。
論文 参考訳（メタデータ） (2022-11-04T01:07:54Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Multi-Center Federated Learning [62.32725938999433]
フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。
単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。
本稿では,新しいマルチセンターアグリゲーション機構を提案する。
論文 参考訳（メタデータ） (2021-08-19T12:20:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。