論文の概要: Secure and Fast Asynchronous Vertical Federated Learning via Cascaded
Hybrid Optimization
- arxiv url: http://arxiv.org/abs/2306.16077v1
- Date: Wed, 28 Jun 2023 10:18:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 14:46:55.686405
- Title: Secure and Fast Asynchronous Vertical Federated Learning via Cascaded
Hybrid Optimization
- Title(参考訳): カスケードハイブリッド最適化によるセキュアかつ高速な非同期垂直フェデレーション学習
- Authors: Ganyu Wang, Qingsong Zhang, Li Xiang, Boyu Wang, Bin Gu, Charles Ling
- Abstract要約: 垂直フェデレート学習(VFL)におけるケースケードハイブリッド最適化手法を提案する。
この方法では、下流モデル(クライアント)はプライバシーを保護するためにゼロオーダー最適化(ZOO)で訓練される。
本稿では,ZOOベースのVFLフレームワークよりも高速な収束を実現するとともに,プライバシー保護のレベルを維持していることを示す。
- 参考スコア(独自算出の注目度): 18.619236705579713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vertical Federated Learning (VFL) attracts increasing attention because it
empowers multiple parties to jointly train a privacy-preserving model over
vertically partitioned data. Recent research has shown that applying
zeroth-order optimization (ZOO) has many advantages in building a practical VFL
algorithm. However, a vital problem with the ZOO-based VFL is its slow
convergence rate, which limits its application in handling modern large models.
To address this problem, we propose a cascaded hybrid optimization method in
VFL. In this method, the downstream models (clients) are trained with ZOO to
protect privacy and ensure that no internal information is shared. Meanwhile,
the upstream model (server) is updated with first-order optimization (FOO)
locally, which significantly improves the convergence rate, making it feasible
to train the large models without compromising privacy and security. We
theoretically prove that our VFL framework converges faster than the ZOO-based
VFL, as the convergence of our framework is not limited by the size of the
server model, making it effective for training large models with the major part
on the server. Extensive experiments demonstrate that our method achieves
faster convergence than the ZOO-based VFL framework, while maintaining an
equivalent level of privacy protection. Moreover, we show that the convergence
of our VFL is comparable to the unsafe FOO-based VFL baseline. Additionally, we
demonstrate that our method makes the training of a large model feasible.
- Abstract(参考訳): Vertical Federated Learning (VFL)は、複数のパーティが垂直に分割されたデータに対して、プライバシ保護モデルを共同でトレーニングできるようにするため、注目を集めている。
近年の研究では、ゼロ階最適化(ZOO)の適用は実用的なVFLアルゴリズムを構築する上で多くの利点があることが示されている。
しかし、ZOOベースのVFLの致命的な問題は収束速度が遅いことであり、これは現代の大規模モデルを扱う際の応用を制限している。
そこで本研究では,VFLにおけるハイブリッド最適化手法を提案する。
この方法では、下流モデル(クライアント)がZOOでトレーニングされ、プライバシーを保護し、内部情報が共有されないことを保証する。
一方、アップストリームモデル(サーバ)は、一階最適化(foo)をローカルに更新することで、収束率を大幅に改善し、プライバシとセキュリティを損なうことなく、大規模モデルのトレーニングを可能にする。
我々のVFLフレームワークがZOOベースのVFLよりも早く収束することが理論的に証明されている。
本手法は,プライバシー保護レベルを維持しつつ,ZOOベースのVFLフレームワークよりも高速な収束を実現することを示す。
さらに、VFLの収束は安全でないFOOベースのVFLベースラインに匹敵することを示した。
さらに,本手法が大規模モデルのトレーニングを可能にすることを示す。
関連論文リスト
- SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。
実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
論文 参考訳(メタデータ) (2024-06-01T13:10:35Z) - Secure Vertical Federated Learning Under Unreliable Connectivity [22.03946356498099]
我々は、最初のドロップアウト耐性VFLプロトコルであるvFedSecを紹介する。
埋め込み-パディング技術とともに革新的なSecure Layerを使用することで、セキュアで効率的なモデルトレーニングを実現する。
論文 参考訳(メタデータ) (2023-05-26T10:17:36Z) - Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。
本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。
提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
論文 参考訳(メタデータ) (2023-05-15T22:04:49Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳(メタデータ) (2023-03-19T06:00:05Z) - Low-Latency Cooperative Spectrum Sensing via Truncated Vertical
Federated Learning [51.51440623636274]
データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。
学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。
T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
論文 参考訳(メタデータ) (2022-08-07T10:39:27Z) - Towards Communication-efficient Vertical Federated Learning Training via
Cache-enabled Local Updates [25.85564668511386]
CELU-VFLは,新しい,効率的な垂直学習フレームワークである。
CELU-VFLは、ローカル更新技術を利用して、サードパーティ間の通信ラウンドを減らす。
CELU-VFLは既存の作業の最大6倍高速であることを示す。
論文 参考訳(メタデータ) (2022-07-29T12:10:36Z) - Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。
階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。
また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
論文 参考訳(メタデータ) (2022-03-25T09:06:42Z) - Desirable Companion for Vertical Federated Learning: New Zeroth-Order
Gradient Based Algorithm [140.25480610981504]
VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。
ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
論文 参考訳(メタデータ) (2022-03-19T13:55:47Z) - Secure Bilevel Asynchronous Vertical Federated Learning with Backward
Updating [159.48259714642447]
垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。
我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
論文 参考訳(メタデータ) (2021-03-01T12:34:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。