論文の概要: Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM
- arxiv url: http://arxiv.org/abs/2207.10226v4
- Date: Sun, 7 Apr 2024 01:52:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 05:56:30.390613
- Title: Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM
- Title（参考訳）: ADMMによる効果的なコミュニケーションによるプライバシー保護型垂直的フェデレーション学習の改善
- Authors: Chulin Xie, Pin-Yu Chen, Qinbin Li, Arash Nourian, Ce Zhang, Bo Li,
- Abstract要約: フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
- 参考スコア（独自算出の注目度）: 62.62684911017472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables distributed resource-constrained devices to jointly train shared models while keeping the training data local for privacy purposes. Vertical FL (VFL), which allows each client to collect partial features, has attracted intensive research efforts recently. We identified the main challenges that existing VFL frameworks are facing: the server needs to communicate gradients with the clients for each training step, incurring high communication cost that leads to rapid consumption of privacy budgets. To address these challenges, in this paper, we introduce a VFL framework with multiple heads (VIM), which takes the separate contribution of each client into account, and enables an efficient decomposition of the VFL optimization objective to sub-objectives that can be iteratively tackled by the server and the clients on their own. In particular, we propose an Alternating Direction Method of Multipliers (ADMM)-based method to solve our optimization problem, which allows clients to conduct multiple local updates before communication, and thus reduces the communication cost and leads to better performance under differential privacy (DP). We provide the user-level DP mechanism for our framework to protect user privacy. Moreover, we show that a byproduct of VIM is that the weights of learned heads reflect the importance of local clients. We conduct extensive evaluations and show that on four vertical FL datasets, VIM achieves significantly higher performance and faster convergence compared with the state-of-the-art. We also explicitly evaluate the importance of local clients and show that VIM enables functionalities such as client-level explanation and client denoising. We hope this work will shed light on a new way of effective VFL training and understanding.
- Abstract（参考訳）: フェデレートラーニング(FL)は、分散リソース制約されたデバイスが、プライバシ目的でトレーニングデータをローカルに保持しながら、共有モデルを共同でトレーニングすることを可能にする。
それぞれのクライアントが部分的な特徴を収集できる垂直FL(VFL)は、最近、集中的な研究努力を惹きつけている。
私たちは、既存のVFLフレームワークが直面している主な課題を特定しました。サーバは、トレーニングステップ毎にクライアントとグラデーションを通信する必要があります。
本稿では,各クライアントの別々のコントリビューションを考慮に入れ,サーバやクライアントによって反復的に取り組まれるサブオブジェクトに対して,VFL最適化目標の効率的な分解を可能にする,マルチヘッド(VIM)を備えたVFLフレームワークを提案する。
特に、クライアントが通信前に複数のローカル更新を行えるようにし、通信コストを削減し、差分プライバシ(DP)下でのより良い性能を実現するための、ADMMベースの方法を提案する。
ユーザプライバシを保護するために,当社のフレームワークに対して,ユーザレベルのDPメカニズムを提供する。
さらに,VIMの副産物として,学習頭部の重みが局所的クライアントの重要性を反映していることが示されている。
広範に評価を行い、4つの垂直FLデータセットにおいて、VIMは最先端と比較して性能が著しく向上し、より高速な収束を実現していることを示す。
また、ローカルクライアントの重要性を明確に評価し、VIMがクライアントレベルの説明やクライアントの妄想といった機能を実現することを示す。
この作業が、効果的なVFLトレーニングと理解の新しい方法に光を当てることを願っています。
関連論文リスト
- FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。
我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
論文 参考訳（メタデータ） (2024-11-04T14:29:04Z) - HierSFL: Local Differential Privacy-aided Split Federated Learning in
Mobile Edge Computing [7.180235086275924]
フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。
Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。
この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。
我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
論文 参考訳（メタデータ） (2024-01-16T09:34:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Secure Vertical Federated Learning Under Unreliable Connectivity [22.03946356498099]
我々は、最初のドロップアウト耐性VFLプロトコルであるvFedSecを紹介する。
埋め込み-パディング技術とともに革新的なSecure Layerを使用することで、セキュアで効率的なモデルトレーニングを実現する。
論文 参考訳（メタデータ） (2023-05-26T10:17:36Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - To Federate or Not To Federate: Incentivizing Client Participation in
Federated Learning [22.3101738137465]
フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。
本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-30T04:03:31Z) - Context-Aware Online Client Selection for Hierarchical Federated
Learning [33.205640790962505]
フェデレートラーニング(FL)は、データプライバシ問題に対処するための魅力的なフレームワークだと考えられている。
フェデレートラーニング(FL)は、データプライバシ問題に対処するための魅力的なフレームワークだと考えられている。
論文 参考訳（メタデータ） (2021-12-02T01:47:01Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳（メタデータ） (2021-08-12T14:18:05Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。