論文の概要: FedLess: Secure and Scalable Federated Learning Using Serverless Computing

• arxiv url: http://arxiv.org/abs/2111.03396v1
• Date: Fri, 5 Nov 2021 11:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 16:25:52.384131
• Title: FedLess: Secure and Scalable Federated Learning Using Serverless Computing
• Title（参考訳）: FedLess: サーバレスコンピューティングを使用したセキュアでスケーラブルなフェデレーション学習
• Authors: Andreas Grafberger, Mohak Chadha, Anshul Jindal, Jianfeng Gu, Michael Gerndt
• Abstract要約: フェデレートラーニング(FL)は、データをローカルに保ちながら、リモートクライアントが共有MLモデルを学ぶことを可能にする。 本稿では、FedLessと呼ばれるサーバーレスFLのための新しいシステムとフレームワークを提案する。 当社のシステムは,複数の商用および自己ホスト型Fプロバイダをサポートし,クラウド,オンプレミスの機関データセンタ,エッジデバイスにデプロイすることができる。
• 参考スコア（独自算出の注目度）: 1.141832715860866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional cloud-centric approach for Deep Learning (DL) requires training data to be collected and processed at a central server which is often challenging in privacy-sensitive domains like healthcare. Towards this, a new learning paradigm called Federated Learning (FL) has been proposed that brings the potential of DL to these domains while addressing privacy and data ownership issues. FL enables remote clients to learn a shared ML model while keeping the data local. However, conventional FL systems face several challenges such as scalability, complex infrastructure management, and wasted compute and incurred costs due to idle clients. These challenges of FL systems closely align with the core problems that serverless computing and Function-as-a-Service (FaaS) platforms aim to solve. These include rapid scalability, no infrastructure management, automatic scaling to zero for idle clients, and a pay-per-use billing model. To this end, we present a novel system and framework for serverless FL, called FedLess. Our system supports multiple commercial and self-hosted FaaS providers and can be deployed in the cloud, on-premise in institutional data centers, and on edge devices. To the best of our knowledge, we are the first to enable FL across a large fabric of heterogeneous FaaS providers while providing important features like security and Differential Privacy. We demonstrate with comprehensive experiments that the successful training of DNNs for different tasks across up to 200 client functions and more is easily possible using our system. Furthermore, we demonstrate the practical viability of our methodology by comparing it against a traditional FL system and show that it can be cheaper and more resource-efficient.
• Abstract（参考訳）: 従来のクラウド中心のDL(Deep Learning)アプローチでは、トレーニングデータを中央サーバで収集、処理する必要がある。 これに向けて、プライバシとデータオーナシップの問題に対処しながら、これらのドメインにDLの可能性をもたらす、フェデレートラーニング(FL)と呼ばれる新しい学習パラダイムが提案されている。 FLは、データをローカルに保ちながら、リモートクライアントが共有MLモデルを学ぶことを可能にする。 しかしながら、従来のflシステムはスケーラビリティ、複雑なインフラストラクチャ管理、無駄な計算、アイドルクライアントによるコスト削減など、いくつかの課題に直面している。 FLシステムのこれらの課題は、サーバレスコンピューティングとFaaS(Function-as-a-Service)プラットフォームが目指す中核的な問題と密接に一致している。 これには、高速なスケーラビリティ、インフラストラクチャ管理なし、アイドルクライアントのゼロへの自動スケーリング、使用課金モデルなどが含まれる。 そこで我々はFedLessと呼ばれるサーバーレスFLのための新しいシステムとフレームワークを提案する。 当社のシステムは,複数の商用およびセルフホストのFaaSプロバイダをサポートし,クラウド,オンプレミスの機関データセンタ,エッジデバイスにデプロイすることができる。 私たちの知る限りでは、セキュリティや微分プライバシといった重要な機能を提供しながら、異種FaaSプロバイダの大規模なファブリックでFLを有効にするのは、私たちが初めてです。 我々は,200以上のクライアント機能で異なるタスクに対してdnnのトレーニングを成功させることが,システムを用いて容易に可能であることを示す。 さらに,従来のflシステムと比較することにより,本手法の実用性を示すとともに,より安価で資源効率が高いことを示す。

関連論文リスト

• Swarm Learning: A Survey of Concepts, Applications, and Trends [3.55026004901472]
  ディープラーニングモデルは、中央サーバ上の大規模なデータセットに依存しているため、プライバシとセキュリティの懸念を高めている。 Federated Learning (FL)は、汎用的で大規模な機械学習フレームワークを構築するための新しいアプローチを導入した。 Swarm Learning (SL) は Hewlett Packard Enterprise (HPE) と共同で提案されている。 SLは、セキュアでスケーラブルでプライベートなデータ管理にブロックチェーン技術を活用する、分散機械学習フレームワークである。
  論文  参考訳（メタデータ） (2024-05-01T14:59:24Z)
• Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
  Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。 効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
  論文  参考訳（メタデータ） (2024-02-11T20:15:52Z)
• A Quality-of-Service Compliance System using Federated Learning and Optimistic Rollups [0.0]
  平行するトレンドは、多くの人々にとって主要なコンピューティングデバイスとして携帯電話やタブレットが台頭していることだ。 これらのデバイスに存在する強力なセンサーは、それらがモバイルであるという事実と相まって、前例のないほど多様なプライベートな性質を持つデータにアクセスすることができる。 このようなデータで学んだモデルは、よりインテリジェントなアプリケーションを動かすことによって、ユーザビリティを劇的に向上させるという約束を持っているが、データに敏感な性質は、それを集中した場所に保存するリスクと責任を意味する。 我々は、クライアントが実行するサービスに関する特定のデータがソースマシンを離れないように、フェデレートラーニング(FL)の使用を提案する。
  論文  参考訳（メタデータ） (2023-11-14T20:02:37Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• A Survey on Decentralized Federated Learning [0.709016563801433]
  近年、フェデレーション学習は、分散、大規模、プライバシ保護機械学習(ML)システムのトレーニングにおいて一般的なパラダイムとなっている。 典型的なFLシステムでは、中央サーバはオーケストレータとしてのみ機能し、各クライアントによって訓練されたすべてのローカルモデルを、収束するまで反復的に収集し集約する。 最も重要な課題の1つは、古典的なFLクライアントサーバアーキテクチャの集中的なオーケストレーションを克服することである。 すべてのFLクライアントが中央サーバなしで協力し、通信する分散FLソリューションが登場しました。
  論文  参考訳（メタデータ） (2023-08-08T22:07:15Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)
• Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning [98.05061014090913]
  フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。 敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。 既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。 本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
  論文  参考訳（メタデータ） (2021-06-18T15:52:33Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)
• Federated Learning for Resource-Constrained IoT Devices: Panoramas and State-of-the-art [12.129978716326676]
  我々は最近実装されたフェデレートラーニングの現実的な応用をいくつか紹介する。 大規模ネットワークでは、様々な計算資源を持つクライアントが存在するかもしれない。 FL領域における資源制約装置の今後の方向性を強調した。
  論文  参考訳（メタデータ） (2020-02-25T01:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。