論文の概要: Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2

• arxiv url: http://arxiv.org/abs/2402.12271v1
• Date: Mon, 19 Feb 2024 16:34:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:35:11.132832
• Title: Secure Federated Learning Across Heterogeneous Cloud and High-Performance Computing Resources -- A Case Study on Federated Fine-tuning of LLaMA 2
• Title（参考訳）: 異種クラウドと高性能コンピューティングリソース間のセキュアなフェデレーション学習-LLaMA2のフェデレーションファインチューニングを事例として-
• Authors: Zilinghan Li, Shilan He, Pranshu Chaturvedi, Volodymyr Kindratenko, Eliu A Huerta, Kibaek Kim, Ravi Madduri
• Abstract要約: フェデレートされた学習により、複数のデータ所有者は、大規模または機密性の高いローカルデータセットを転送することなく、堅牢な機械学習モデルを協調的にトレーニングすることができる。 APPFLフレームワークは、クラウドコンピューティング施設と高性能コンピューティングリソースにわたる、エンドツーエンドのセキュアで信頼性の高いフェデレーション学習実験を合理化する。 複数のクラウドリソースとスーパーコンピュータを用いたLLaMA 2 7Bモデルの微調整におけるAPPFLの適用例を示す。
• 参考スコア（独自算出の注目度）: 0.7037008937757392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning enables multiple data owners to collaboratively train robust machine learning models without transferring large or sensitive local datasets by only sharing the parameters of the locally trained models. In this paper, we elaborate on the design of our Advanced Privacy-Preserving Federated Learning (APPFL) framework, which streamlines end-to-end secure and reliable federated learning experiments across cloud computing facilities and high-performance computing resources by leveraging Globus Compute, a distributed function as a service platform, and Amazon Web Services. We further demonstrate the use case of APPFL in fine-tuning a LLaMA 2 7B model using several cloud resources and supercomputers.
• Abstract（参考訳）: フェデレートされた学習により、複数のデータ所有者は、ローカルにトレーニングされたモデルのパラメータを共有するだけで、大規模なまたは機密性の高いローカルデータセットを転送することなく、堅牢な機械学習モデルを協調的にトレーニングすることができる。 本稿では,サービスプラットフォームとしての分散機能であるGlobus ComputeとAmazon Web Servicesを活用して,クラウドコンピューティングの施設と高性能コンピューティングリソースにまたがる,エンドツーエンドのセキュアで信頼性の高いフェデレーション学習実験を合理化する,Advanced Privacy-Preserving Federated Learning (APPFL) フレームワークの設計について詳述する。 さらに,複数のクラウドリソースとスーパーコンピュータを用いたLLaMA 2 7Bモデルの微調整におけるAPPFLの適用例を示す。

関連論文リスト

• FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models [11.362085734837217]
  我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。 グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。 我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
  論文  参考訳（メタデータ） (2023-12-26T07:40:26Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Edge-cloud Collaborative Learning with Federated and Centralized Features [14.009299207006542]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なわないエッジコンピューティングの一般的な方法です。 提案するEdge-Cloud Collaborative Knowledge Transfer Framework (ECCT)は,エッジとクラウドのギャップを埋めるものだ。
  論文  参考訳（メタデータ） (2023-04-12T14:00:32Z)
• Towards Cooperative Federated Learning over Heterogeneous Edge/Fog Networks [49.19502459827366]
  フェデレートラーニング(FL)は、エッジ/フォグネットワーク上で機械学習(ML)モデルをトレーニングするための一般的なテクニックとして推奨されている。 FLの従来の実装は、ネットワーク間協力の可能性を大きく無視してきた。 我々は,デバイス・ツー・デバイス(D2D)とデバイス・ツー・サーバ(D2S)インタラクションに基づいて構築された協調的エッジ/フォグMLパラダイムである協調的連合学習(CFL)を提唱する。
  論文  参考訳（メタデータ） (2023-03-15T04:41:36Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search [8.184714897613166]
  フェデレートラーニング(FL)は、分散およびプライバシ保護設定でAI/MLモデルをトレーニングするために使用される。 資源対応フェデレーションラーニング(RaFL)を提案する。 RaFLがNeural Architecture Search (NAS)を使用して、リソースを意識した特殊なモデルをエッジデバイスに割り当てる
  論文  参考訳（メタデータ） (2022-11-09T09:38:57Z)
• Aggregation Service for Federated Learning: An Efficient, Secure, and More Resilient Realization [22.61730495802799]
  本稿では,学習過程を通じて個々のモデル更新を効率よく保護するシステム設計を提案する。 本システムは,実用性能で,ベースラインに匹敵する精度を実現している。
  論文  参考訳（メタデータ） (2022-02-04T05:03:46Z)
• FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion [19.86388925556209]
  フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。 本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
  論文  参考訳（メタデータ） (2021-10-21T10:06:44Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。