論文の概要: PackVFL: Efficient HE Packing for Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2405.00482v1
• Date: Wed, 1 May 2024 12:46:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 15:47:41.638796
• Title: PackVFL: Efficient HE Packing for Vertical Federated Learning
• Title（参考訳）: PackVFL: 垂直的フェデレーション学習のための効率的なHEパッキング
• Authors: Liu Yang, Shuowei Cai, Di Chai, Junxue Zhang, Han Tian, Yilun Jin, Kun Guo, Kai Chen, Qiang Yang,
• Abstract要約: PackVFL は HE (PackedHE) をベースとした効率的な VFL フレームワークである 本稿では,HEベースのVFLにおいて,ほとんどの暗号処理時間を消費するため,高性能行列乗算法 (MatMult) の設計に着目する。 VFLのバッチサイズ、特徴寸法、モデルサイズが大きければ大きいほど、PackVFLは一貫してパフォーマンスを向上します。
• 参考スコア（独自算出の注目度）: 26.826893632450936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an essential tool of secure distributed machine learning, vertical federated learning (VFL) based on homomorphic encryption (HE) suffers from severe efficiency problems due to data inflation and time-consuming operations. To this core, we propose PackVFL, an efficient VFL framework based on packed HE (PackedHE), to accelerate the existing HE-based VFL algorithms. PackVFL packs multiple cleartexts into one ciphertext and supports single-instruction-multiple-data (SIMD)-style parallelism. We focus on designing a high-performant matrix multiplication (MatMult) method since it takes up most of the ciphertext computation time in HE-based VFL. Besides, devising the MatMult method is also challenging for PackedHE because a slight difference in the packing way could predominantly affect its computation and communication costs. Without domain-specific design, directly applying SOTA MatMult methods is hard to achieve optimal. Therefore, we make a three-fold design: 1) we systematically explore the current design space of MatMult and quantify the complexity of existing approaches to provide guidance; 2) we propose a hybrid MatMult method according to the unique characteristics of VFL; 3) we adaptively apply our hybrid method in representative VFL algorithms, leveraging distinctive algorithmic properties to further improve efficiency. As the batch size, feature dimension and model size of VFL scale up to large sizes, PackVFL consistently delivers enhanced performance. Empirically, PackVFL propels existing VFL algorithms to new heights, achieving up to a 51.52X end-to-end speedup. This represents a substantial 34.51X greater speedup compared to the direct application of SOTA MatMult methods.
• Abstract（参考訳）: セキュアな分散機械学習の必須ツールとして、同相暗号(HE)に基づく垂直連合学習(VFL)は、データインフレーションと時間消費操作による深刻な効率上の問題に悩まされる。 そこで本研究では,既存の HE ベースの VFL アルゴリズムを高速化するための HE (PackedHE) に基づく効率的な VFL フレームワークである PackVFL を提案する。 PackVFLは、複数のクリアテキストを1つの暗号文にまとめ、シングルインストラクション・マルチデータ(SIMD)スタイルの並列処理をサポートする。 本稿では,HEベースのVFLにおける暗号文計算時間の大部分を占めるため,高性能行列乗算法 (MatMult) の設計に着目する。 さらに、パッケージング方法のわずかな違いが計算コストや通信コストに大きく影響する可能性があるため、PackedHEではMatMult法の開発も困難である。 ドメイン固有の設計がなければ、SOTA MatMultメソッドを直接適用することは困難である。 ですから、私たちは3倍のデザインを作ります。 1)MatchMultの現在の設計空間を体系的に探求し、ガイダンスを提供するために既存のアプローチの複雑さを定量化する。 2) VFLの特性に応じたハイブリッドMateMult法を提案する。 3)本手法を代表VFLアルゴリズムに適応的に適用し,アルゴリズム特性を利用して効率を向上する。 VFLのバッチサイズ、特徴寸法、モデルサイズが大きければ大きいほど、PackVFLは一貫してパフォーマンスを向上します。 PackVFLは、既存のVFLアルゴリズムを新しい高さまで拡張し、最大51.52倍のエンドツーエンドのスピードアップを実現している。 これはSOTA MatMult法の直接適用に比べて34.51倍のスピードアップを示している。

関連論文リスト

• Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization [18.619236705579713]
  垂直フェデレート学習(VFL)におけるケースケードハイブリッド最適化手法を提案する。 この方法では、下流モデル(クライアント)はプライバシーを保護するためにゼロオーダー最適化(ZOO)で訓練される。 本稿では,ZOOベースのVFLフレームワークよりも高速な収束を実現するとともに,プライバシー保護のレベルを維持していることを示す。
  論文  参考訳（メタデータ） (2023-06-28T10:18:08Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning [51.51440623636274]
  データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。 学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。 T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
  論文  参考訳（メタデータ） (2022-08-07T10:39:27Z)
• pFL-Bench: A Comprehensive Benchmark for Personalized Federated Learning [42.819532536636835]
  そこで我々は,pFL ベンチマーク pFL-Bench を提案し,迅速な再現性,標準化,徹底的な pFL 評価を行った。 提案するベンチマークには、統一されたデータパーティションと現実的な異種設定を備えた、多様なアプリケーションドメインの10以上のデータセットが含まれている。 我々は、最先端のpFL手法の利点と可能性を強調し、pFL-BenchがさらなるpFL研究と幅広い応用を可能にすることを期待する。
  論文  参考訳（メタデータ） (2022-06-08T02:51:59Z)
• Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm [140.25480610981504]
  VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。 ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-19T13:55:47Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning [9.177048551836897]
  ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である
  論文  参考訳（メタデータ） (2021-09-02T02:36:04Z)
• Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
  垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。 我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:34:53Z)
• FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
  フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。 既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。 FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
  論文  参考訳（メタデータ） (2020-07-27T13:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。