論文の概要: Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm

• arxiv url: http://arxiv.org/abs/2203.10329v1
• Date: Sat, 19 Mar 2022 13:55:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 19:27:00.722379
• Title: Desirable Companion for Vertical Federated Learning: New Zeroth-Order Gradient Based Algorithm
• Title（参考訳）: 垂直的フェデレーション学習のための好適なコンパニオン:新しいゼロ階勾配アルゴリズム
• Authors: Qingsong Zhang, Bin Gu, Zhiyuan Dang, Cheng Deng, Heng Huang
• Abstract要約: VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシ、通信、計算効率が含まれるべきである。 ブラックボックスのスケーラビリティを備えた新しいVFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 140.25480610981504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vertical federated learning (VFL) attracts increasing attention due to the emerging demands of multi-party collaborative modeling and concerns of privacy leakage. A complete list of metrics to evaluate VFL algorithms should include model applicability, privacy security, communication cost, and computation efficiency, where privacy security is especially important to VFL. However, to the best of our knowledge, there does not exist a VFL algorithm satisfying all these criteria very well. To address this challenging problem, in this paper, we reveal that zeroth-order optimization (ZOO) is a desirable companion for VFL. Specifically, ZOO can 1) improve the model applicability of VFL framework, 2) prevent VFL framework from privacy leakage under curious, colluding, and malicious threat models, 3) support inexpensive communication and efficient computation. Based on that, we propose a novel and practical VFL framework with black-box models, which is inseparably interconnected to the promising properties of ZOO. We believe that it takes one stride towards designing a practical VFL framework matching all the criteria. Under this framework, we raise two novel {\bf asy}nchronous ze{\bf r}oth-ord{\bf e}r algorithms for {\bf v}ertical f{\bf e}derated {\bf l}earning (AsyREVEL) with different smoothing techniques. We theoretically drive the convergence rates of AsyREVEL algorithms under nonconvex condition. More importantly, we prove the privacy security of our proposed framework under existing VFL attacks on different levels. Extensive experiments on benchmark datasets demonstrate the favorable model applicability, satisfied privacy security, inexpensive communication, efficient computation, scalability and losslessness of our framework.
• Abstract（参考訳）: 垂直連合学習(VFL)は、多人数協調モデリングの新たな需要とプライバシー漏洩の懸念から注目を集めている。 VFLアルゴリズムを評価するための指標の完全なリストには、モデル適用性、プライバシセキュリティ、通信コスト、計算効率などが含まれる。 しかしながら、我々の知る限りでは、これらの基準を十分に満たすVFLアルゴリズムは存在しない。 この課題に対処するため、本稿では、ゼロ階最適化(ZOO)がVFLの望ましい相補体であることを明らかにする。 特にZOOは 1)VFLフレームワークのモデル適用性の向上。 2)vflフレームワークが,好奇心や共謀,悪意のある脅威モデルの下でプライバシリークを防止する。 3) 安価な通信と効率的な計算をサポートする。 そこで本研究では,ZOOの有望な特性と独立に相互接続するブラックボックスモデルを用いた,斬新で実用的なVFLフレームワークを提案する。 すべての基準に適合する実用的なVFLフレームワークを設計するには1つの努力が必要だと考えています。 この枠組みでは、異なるスムーズな手法で2つの新しいze{\bf r}oth-ord{\bf e}rアルゴリズムを、f{\bf e}derated {\bf l}earning (AsyREVEL) に対して立ち上げる。 非凸条件下でのAsyREVELアルゴリズムの収束率を理論的に推算する。 さらに重要なことは、既存のVFL攻撃下で提案したフレームワークのプライバシーセキュリティを異なるレベルで証明することです。 ベンチマークデータセットに関する広範な実験では,モデルの適用性,プライバシセキュリティの満足度,安価な通信,効率的な計算,スケーラビリティ,ロスレス性などが示されています。

関連論文リスト

• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization [18.619236705579713]
  垂直フェデレート学習(VFL)におけるケースケードハイブリッド最適化手法を提案する。 この方法では、下流モデル(クライアント)はプライバシーを保護するためにゼロオーダー最適化(ZOO)で訓練される。 本稿では,ZOOベースのVFLフレームワークよりも高速な収束を実現するとともに,プライバシー保護のレベルを維持していることを示す。
  論文  参考訳（メタデータ） (2023-06-28T10:18:08Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Vertical Federated Learning: Concepts, Advances and Challenges [18.38260017835129]
  VFL(Vertical Federated Learning)の概念とアルゴリズムについてレビューする。 VFL設定とプライバシ保護プロトコルを網羅的に分類する。 本稿では,コミュニケーション,計算,プライバシ,有効性,公平性といった制約を考慮した統合フレームワーク VFLow を提案する。
  論文  参考訳（メタデータ） (2022-11-23T10:00:06Z)
• A Framework for Evaluating Privacy-Utility Trade-off in Vertical Federated Learning [18.046256152691743]
  フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、データサイロ問題に取り組むための実践的なソリューションとして登場した。 VFLは、より価値のある機能を活用してより良い機械学習モデルを構築するという、企業の要求に合致する。 VFLにおける現在の研究は、特定のVFLアルゴリズムの特定の保護または攻撃メカニズムの開発に集中している。
  論文  参考訳（メタデータ） (2022-09-08T15:41:31Z)
• Low-Latency Cooperative Spectrum Sensing via Truncated Vertical Federated Learning [51.51440623636274]
  データプライバシを損なうことなく、複数のセカンダリユーザ(SU)にまたがる分散機能を活用できる垂直連合学習(VFL)フレームワークを提案する。 学習プロセスの高速化を目的として,T-VFL(Truncated vertical Federated Learning)アルゴリズムを提案する。 T-VFLの収束性能は、数学的解析によって提供され、シミュレーション結果によって正当化される。
  論文  参考訳（メタデータ） (2022-08-07T10:39:27Z)
• BlindFL: Vertical Federated Machine Learning without Peeking into Your Data [20.048695060411774]
  垂直連合学習(VFL)は、さまざまな参加者のプライベートデータに基づいてMLモデルを構築する場合を記述している。 本稿では,VFLトレーニングと推論のための新しいフレームワークであるBlindFLを紹介する。 BlindFLは、堅牢なプライバシー保証を達成しつつ、多様なデータセットやモデルを効率的にサポートする。
  論文  参考訳（メタデータ） (2022-06-16T07:26:50Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating [159.48259714642447]
  垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。 我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
  論文  参考訳（メタデータ） (2021-03-01T12:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。