論文の概要: Federated Foundation Models: Privacy-Preserving and Collaborative
Learning for Large Models
- arxiv url: http://arxiv.org/abs/2305.11414v1
- Date: Fri, 19 May 2023 03:51:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:21:48.318388
- Title: Federated Foundation Models: Privacy-Preserving and Collaborative
Learning for Large Models
- Title(参考訳): フェデレーションモデル:大規模モデルのプライバシ保護と協調学習
- Authors: Sixing Yu, J. Pablo Mu\~noz, Ali Jannesari
- Abstract要約: FMとFederated Learning(FL)の利点を組み合わせた新しいアプローチであるFederated Foundation Models(FFMs)の概念を導入する。
我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。
各種下流タスクにおけるFFMと従来のFMの性能を比較した実験と評価を行った。
- 参考スコア(独自算出の注目度): 0.8164433158925593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation Models (FMs), such as BERT, GPT, ViT, and CLIP, have demonstrated
remarkable success in a wide range of applications, driven by their ability to
leverage vast amounts of data for pre-training. However, optimizing FMs often
requires access to sensitive data, raising privacy concerns and limiting their
applicability in certain domains. In this paper, we introduce the concept of
Federated Foundation Models (FFMs), a novel approach that combines the benefits
of FMs and Federated Learning (FL) to enable privacy-preserving and
collaborative learning across multiple institutions. We discuss the potential
benefits and challenges of integrating FL into the lifespan of FMs, covering
pre-training, fine-tuning, and application. We further provide formal
definitions of FFM tasks, including FFM pre-training, FFM fine-tuning, and
federated prompt engineering, allowing for more personalized and context-aware
models while maintaining data privacy. Moreover, we explore the possibility of
continual/lifelong learning in FFMs, as increased computational power at the
edge unlocks the potential for optimizing FMs using newly generated private
data at edges. We present experiments and evaluations comparing the performance
of FFMs to traditional FMs on various downstream tasks, demonstrating the
effectiveness of our approach in preserving privacy, reducing overfitting, and
improving model generalizability. The proposed Federated Foundation Models
offer a flexible and scalable framework for training large language models in a
privacy-preserving manner, paving the way for future advancements in both FM
pre-training and federated learning.
- Abstract(参考訳): BERT、GPT、ViT、CLIPといったファンデーションモデル(FM)は、事前トレーニングに大量のデータを活用する能力によって、幅広いアプリケーションで顕著な成功を収めている。
しかし、FMを最適化するには、機密データへのアクセス、プライバシー上の懸念の高まり、特定のドメインでの適用性を制限する必要がある。
本稿では、FMとFederated Learning(FL)の利点を組み合わせた新しいアプローチであるFederated Foundation Models(FFMs)の概念を導入し、複数の機関におけるプライバシー保護と協調学習を実現する。
我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。
さらに、FFM事前訓練、FFM微調整、フェデレートされたプロンプトエンジニアリングを含むFFMタスクの正式な定義を提供し、データプライバシを維持しながら、よりパーソナライズされたコンテキスト対応モデルを可能にする。
さらに、エッジでの計算能力の増大は、エッジで新たに生成されたプライベートデータを用いてFMを最適化する可能性を解放する。
本研究では,FFMと従来のFMの性能を比較する実験と評価を行い,プライバシの保護,過度な適合の低減,モデル一般化性の向上といったアプローチの有効性を実証する。
提案するフェデレーション基盤モデルは,大規模言語モデルをプライバシ保護方法でトレーニングするためのフレキシブルでスケーラブルなフレームワークを提供し,fmプリトレーニングとフェデレーション学習の両方において,今後の進歩への道を開くものだ。
関連論文リスト
- Advances and Open Challenges in Federated Learning with Foundation Models [34.389498604151946]
ファウンデーションモデル(FM)とフェデレートラーニング(FL)の統合は、人工知能(AI)における変革的パラダイムを提示する
本稿では,フェデレーション・ファンデーション・モデル(FedFM)の新興分野に関する包括的調査を行う。
論文 参考訳(メタデータ) (2024-04-23T09:44:58Z) - OpenFedLLM: Training Large Language Models on Decentralized Private Data
via Federated Learning [44.200613313936024]
大規模言語モデル (LLM) は様々な分野で大きな成功を収めている。
本稿では,フェデレートラーニング(FL)による未利用分散プライベートデータに対する,現代LLMトレーニングの次のステップを提案する。
私たちはOpenFedLLMという名前の簡潔で統合され、研究に優しいフレームワーク/コードベースを構築します。
命令追従能力を高めるためのフェデレーション命令チューニング、人間の値に合わせるためのフェデレーション値アライメント、および7つの代表FLアルゴリズムをカバーしている。
論文 参考訳(メタデータ) (2024-02-10T13:50:11Z) - A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Grounding Foundation Models through Federated Transfer Learning: A
General Framework [20.341440265217496]
GPT-4のような基礎モデル(FM)は、様々な自然言語処理やコンピュータビジョンタスクにおいて顕著な成功を収めている。
FMをドメイン固有のタスクに適応させたり、ドメイン固有の知識で拡張することで、FMの潜在能力を最大限に活用することができる。
近年,フェデレート・トランスファー・ラーニング(FTL)を活用したFMの基盤化の必要性が,学術と産業の両面で強く現れている。
FTL-FM研究の強い成長と、FTL-FMが産業応用に与える影響を動機として、FTL-FMフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-29T08:21:42Z) - The Role of Federated Learning in a Wireless World with Foundation Models [59.8129893837421]
ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。
現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。
本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
論文 参考訳(メタデータ) (2023-10-06T04:13:10Z) - When Foundation Model Meets Federated Learning: Motivations, Challenges,
and Future Directions [47.00147534252281]
ファンデーションモデル(FM)とフェデレートラーニング(FL)の交差は相互に利益をもたらす。
FLは、FMデータの可用性を拡張し、計算共有、トレーニングプロセスの分散、FL参加者の負担軽減を可能にする。
一方、FMは、その巨大さ、事前訓練された知識、および例外的な性能により、FLの堅牢な出発点として機能する。
論文 参考訳(メタデータ) (2023-06-27T15:15:55Z) - Towards Building the Federated GPT: Federated Instruction Tuning [66.7900343035733]
本稿では,大規模言語モデル(LLM)の命令チューニングのための学習フレームワークとして,FedIT(Federated Instruction Tuning)を紹介する。
我々は,FedITを用いてクライアントの終端における多種多様な命令セットを活用することにより,ローカル命令のみを限定した集中学習に比べ,LLMの性能を向上させることを実証した。
論文 参考訳(メタデータ) (2023-05-09T17:42:34Z) - Collaborating Heterogeneous Natural Language Processing Tasks via
Federated Learning [55.99444047920231]
提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。
自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
論文 参考訳(メタデータ) (2022-12-12T09:27:50Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。