論文の概要: FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System

• arxiv url: http://arxiv.org/abs/2303.10837v2
• Date: Mon, 30 Oct 2023 21:40:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:27:59.394600
• Title: FedML-HE: An Efficient Homomorphic-Encryption-Based Privacy-Preserving Federated Learning System
• Title（参考訳）: FedML-HE: 効率的な同型暗号化に基づくプライバシー保護フェデレーション学習システム
• Authors: Weizhao Jin, Yuhang Yao, Shanshan Han, Carlee Joe-Wong, Srivatsan Ravi, Salman Avestimehr, Chaoyang He
• Abstract要約: Federated Learningは、ローカルデータではなく、ローカルモデルのアップデートを集約することによって、分散デバイス上の機械学習モデルをトレーニングする。 サーバ上の集約されたローカルモデルは、逆攻撃によって機密性の高い個人情報を明らかにする可能性があるため、プライバシー上の懸念が生じる。 我々は,HedML-HEをベースとした安全なモデルアグリゲーションを実現するための,最初の実践的フェデレーション学習システムを提案する。
• 参考スコア（独自算出の注目度）: 26.72387918029296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning trains machine learning models on distributed devices by aggregating local model updates instead of local data. However, privacy concerns arise as the aggregated local models on the server may reveal sensitive personal information by inversion attacks. Privacy-preserving methods, such as homomorphic encryption (HE), then become necessary for FL training. Despite HE's privacy advantages, its applications suffer from impractical overheads, especially for foundation models. In this paper, we present FedML-HE, the first practical federated learning system with efficient HE-based secure model aggregation. FedML-HE proposes to selectively encrypt sensitive parameters, significantly reducing both computation and communication overheads during training while providing customizable privacy preservation. Our optimized system demonstrates considerable overhead reduction, particularly for large foundation models (e.g., ~10x reduction for ResNet-50, and up to ~40x reduction for BERT), demonstrating the potential for scalable HE-based FL deployment.
• Abstract（参考訳）: federated learningは、ローカルデータの代わりにローカルモデルのアップデートを集約することで、分散デバイス上でマシンラーニングモデルをトレーニングする。 しかし、サーバ上の集約されたローカルモデルが反転攻撃によって機密性の高い個人情報を明らかにする可能性があるため、プライバシの懸念が生じる。 ホモモルフィック暗号化(HE)のようなプライバシ保護手法はFLトレーニングに必要となる。 HEのプライバシー上の優位性にもかかわらず、そのアプリケーションは特に基礎モデルにおいて非現実的なオーバーヘッドに悩まされている。 本稿では,HedML-HEをベースとした安全なモデルアグリゲーションを効率よく実現した,最初の実践的フェデレーション学習システムを提案する。 fedml-heは機密パラメータを選択的に暗号化し、トレーニング中の計算と通信のオーバーヘッドを大幅に削減し、カスタマイズ可能なプライバシ保護を提供する。 最適化されたシステムでは,特に大規模な基盤モデル(ResNet-50では10倍,BERTでは40倍程度)において,大幅なオーバーヘッド削減を実現しています。

関連論文リスト

• Privacy-Preserving Federated Learning with Differentially Private Hyperdimensional Computing [5.667290129954206]
  フェデレートラーニング(FL)はIoT(Internet of Things)環境での効率的なデータ交換に不可欠である。 プライバシ保護によるフェデレーションハイパー次元コンピューティング(FedHDPrivacy)について紹介する。 FedHDPrivacyは、前回のラウンドから累積ノイズを理論的に追跡することで、プライバシとパフォーマンスのバランスを慎重に管理する。
  論文  参考訳（メタデータ） (2024-11-02T05:00:44Z)
• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Lancelot: Towards Efficient and Privacy-Preserving Byzantine-Robust Federated Learning within Fully Homomorphic Encryption [10.685816010576918]
  我々は,データプライバシを保ちながら悪意あるクライアント活動を保護するために,完全同型暗号化(FHE)を利用する,革新的で計算効率のよいBRFLフレームワークであるLancelotを提案する。 医用画像診断や広く使われている公開画像データセットを含む大規模なテストでは、Lancelotが既存の手法を著しく上回り、データのプライバシを維持しながら、処理速度を20倍以上に向上させています。
  論文  参考訳（メタデータ） (2024-08-12T14:48:25Z)
• SaFL: Sybil-aware Federated Learning with Application to Face Recognition [13.914187113334222]
  Federated Learning(FL)は、顧客間で共同学習を行う機械学習パラダイムである。 マイナス面として、FLは研究を開始したばかりのセキュリティとプライバシに関する懸念を提起している。 本稿では,SAFL と呼ばれる FL の毒殺攻撃に対する新しい防御法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T21:06:06Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
  本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。 異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
  論文  参考訳（メタデータ） (2023-02-24T14:27:41Z)
• Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices [14.604785223644718]
  Federated Learning(FL)は、デバイスに分散したデータを使ってモデルをトレーニングするテクニックである。 差分プライバシー(DP)は、機密データに対して正式なプライバシー保証を提供する。 ペイロードサイズを小さくすることでノイズを低減できる部分埋め込み更新(PEU)を提案する。
  論文  参考訳（メタデータ） (2022-07-18T23:53:17Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。