論文の概要: Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models

• arxiv url: http://arxiv.org/abs/2305.11414v3
• Date: Tue, 19 Mar 2024 20:04:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 23:07:03.701892
• Title: Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models
• Title（参考訳）: Federated Foundation Models: 大規模モデルのためのプライバシ保護と協調学習
• Authors: Sixing Yu, J. Pablo Muñoz, Ali Jannesari,
• Abstract要約: 我々は、FMとFederated Learning(FL)の利点を組み合わせたFFM(Federated Foundation Models)パラダイムを提案する。 我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。 エッジでの計算能力の増大は、データソースに近い新たに生成されたプライベートデータを用いてFMを最適化する可能性を解き放つ可能性があるため、FFMにおける連続的・長期学習の可能性を探る。
• 参考スコア（独自算出の注目度）: 8.184714897613166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation Models (FMs), such as LLaMA, BERT, GPT, ViT, and CLIP, have demonstrated remarkable success in a wide range of applications, driven by their ability to leverage vast amounts of data for pre-training. However, optimizing FMs often requires access to sensitive data, raising privacy concerns and limiting their applicability in many domains. In this paper, we propose the Federated Foundation Models (FFMs) paradigm, which combines the benefits of FMs and Federated Learning (FL) to enable privacy-preserving and collaborative learning across multiple end-users. We discuss the potential benefits and challenges of integrating FL into the lifespan of FMs, covering pre-training, fine-tuning, and application. We further outline potential future research avenues in FFM, including FFM pre-training, FFM fine-tuning, and federated prompt tuning, which allow the development of more personalized and context-aware models while ensuring data privacy. Moreover, we explore the possibility of continual/lifelong learning in FFMs, as increased computational power at the edge may unlock the potential for optimizing FMs using newly generated private data close to the data source. The proposed FFM concepts offer a flexible and scalable framework for training large language models in a privacy-preserving manner, setting the stage for subsequent advancements in both FM training and federated learning.
• Abstract（参考訳）: LLaMA、BERT、GPT、ViT、CLIPといったファンデーションモデル(FM)は、事前トレーニングに大量のデータを活用する能力によって、幅広いアプリケーションで顕著な成功を収めている。 しかし、FMを最適化するには、機密データにアクセスし、プライバシー上の懸念を高め、多くのドメインで適用性を制限する必要がある。 本稿では,FMとFederated Learning(FL)の利点を組み合わせたFFM(Federated Foundation Models)パラダイムを提案する。 我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。 FFMの事前トレーニング、FFMの微調整、フェデレートされたプロンプトチューニングなど、FFMの将来的な研究の道程を概説し、データのプライバシーを確保しつつ、よりパーソナライズされたコンテキスト対応モデルの開発を可能にする。 さらに,FFMにおける連続的・長期学習の可能性についても検討し,エッジでの計算能力の増大が,データソースに近い新たに生成されたプライベートデータを用いてFMを最適化する可能性を秘めている。 提案したFFMの概念は、大きな言語モデルをプライバシー保護方法でトレーニングするための柔軟でスケーラブルなフレームワークを提供する。

関連論文リスト

• Ten Challenging Problems in Federated Foundation Models [55.343738234307544]
  フェデレーション・ファンデーション・モデル(Federated Foundation Models、FedFM)は、フェデレーション・モデルの一般的な能力とフェデレーション・ラーニングのプライバシー保護能力を融合させる分散学習パラダイムである。 本稿では,FedFMに固有の10の課題について,基礎理論,プライベートデータの利用,継続学習,非学習,非IIDおよびグラフデータ,双方向知識伝達,インセンティブ機構設計,ゲーム機構設計,モデル透かし,効率を包括的に要約する。
  論文  参考訳（メタデータ） (2025-02-14T04:01:15Z)
• Fine-Tuning Foundation Models with Federated Learning for Privacy Preserving Medical Time Series Forecasting [0.32985979395737786]
  フェデレートラーニング(FL)は、複数のデバイスやサーバが生データを共有せずに協調的にモデルをトレーニングする、分散機械学習アプローチを提供する。 本稿では,心電図 (ECG) とインピーダンス心電図 (ICG) データを用いたFMの微調整を行う。 実験の結果,FLは時系列予測タスクの微調整に有効であるが,その利点はクライアント間のデータ分布に依存することがわかった。
  論文  参考訳（メタデータ） (2025-02-13T20:01:15Z)
• Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
  本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。 ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
  論文  参考訳（メタデータ） (2024-09-24T04:14:33Z)
• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Grounding Foundation Models through Federated Transfer Learning: A General Framework [20.341440265217496]
  GPT-4のような基礎モデル(FM)は、様々な自然言語処理やコンピュータビジョンタスクにおいて顕著な成功を収めている。 FMをドメイン固有のタスクに適応させたり、ドメイン固有の知識で拡張することで、FMの潜在能力を最大限に活用することができる。 近年,フェデレート・トランスファー・ラーニング(FTL)を活用したFMの基盤化の必要性が,学術と産業の両面で強く現れている。 FTL-FM研究の強い成長と、FTL-FMが産業応用に与える影響を動機として、FTL-FMフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:21:42Z)
• The Role of Federated Learning in a Wireless World with Foundation Models [59.8129893837421]
  ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。 現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。 本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
  論文  参考訳（メタデータ） (2023-10-06T04:13:10Z)
• When Foundation Model Meets Federated Learning: Motivations, Challenges, and Future Directions [47.00147534252281]
  ファンデーションモデル(FM)とフェデレートラーニング(FL)の交差は相互に利益をもたらす。 FLは、FMデータの可用性を拡張し、計算共有、トレーニングプロセスの分散、FL参加者の負担軽減を可能にする。 一方、FMは、その巨大さ、事前訓練された知識、および例外的な性能により、FLの堅牢な出発点として機能する。
  論文  参考訳（メタデータ） (2023-06-27T15:15:55Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。