論文の概要: Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM

• arxiv url: http://arxiv.org/abs/2207.10226v1
• Date: Wed, 20 Jul 2022 23:14:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 13:42:17.064761
• Title: Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM
• Title（参考訳）: ADMMによる効果的なコミュニケーションによるプライバシー保護型垂直的フェデレーション学習の改善
• Authors: Chulin Xie, Pin-Yu Chen, Ce Zhang, Bo Li
• Abstract要約: フェデレートラーニング(FL)は、トレーニングデータをローカルに保ちながら、分散デバイスが共有モデルを共同でトレーニングすることを可能にする。 本稿では、複数のリニアヘッド(VIM)フレームワークを用いた効率的なVFLを提案し、各ヘッドがローカルクライアントに対応する。 VIMは最先端のフレームワークに比べてパフォーマンスが大幅に向上し、コンバージェンスも高速化されている。
• 参考スコア（独自算出の注目度）: 77.62455975604037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables distributed devices to jointly train a shared model while keeping the training data local. Different from the horizontal FL (HFL) setting where each client has partial data samples, vertical FL (VFL), which allows each client to collect partial features, has attracted intensive research efforts recently. In this paper, we identified two challenges that state-of-the-art VFL frameworks are facing: (1) some works directly average the learned feature embeddings and therefore might lose the unique properties of each local feature set; (2) server needs to communicate gradients with the clients for each training step, incurring high communication cost that leads to rapid consumption of privacy budgets. In this paper, we aim to address the above challenges and propose an efficient VFL with multiple linear heads (VIM) framework, where each head corresponds to local clients by taking the separate contribution of each client into account. In addition, we propose an Alternating Direction Method of Multipliers (ADMM)-based method to solve our optimization problem, which reduces the communication cost by allowing multiple local updates in each step, and thus leads to better performance under differential privacy. We consider various settings including VFL with model splitting and without model splitting. For both settings, we carefully analyze the differential privacy mechanism for our framework. Moreover, we show that a byproduct of our framework is that the weights of learned linear heads reflect the importance of local clients. We conduct extensive evaluations and show that on four real-world datasets, VIM achieves significantly higher performance and faster convergence compared with state-of-the-arts. We also explicitly evaluate the importance of local clients and show that VIM enables functionalities such as client-level explanation and client denoising.
• Abstract（参考訳）: フェデレーション学習(fl)は、トレーニングデータをローカルに保持しながら、分散デバイスが共有モデルを共同でトレーニングすることを可能にする。 各クライアントが部分的なデータサンプルを持つ水平FL(HFL)設定とは異なり、各クライアントが部分的な特徴を収集できる垂直FL(VFL)は近年、集中的な研究努力を集めている。 本稿では,現在最先端のVFLフレームワークが直面している課題として,(1)学習した特徴の埋め込みを直接的に評価し,各局所的な特徴セットのユニークな特性を失う可能性があること,(2)サーバが各トレーニングステップでクライアントとグラデーションを通信する必要があること,そしてプライバシー予算の急速な消費につながる通信コストの増大,の2つを挙げる。 本稿では、これらの課題に対処し、複数のリニアヘッド(VIM)フレームワークを用いた効率的なVFLを提案し、各ヘッドが各クライアントの別々のコントリビューションを考慮に入れ、ローカルクライアントに対応する。 さらに,各ステップで複数のローカル更新を可能とすることで通信コストを低減し,差分プライバシー下でのより良い性能を実現するための,ADMM(Alternating Direction Method of Multipliers)ベースの手法を提案する。 モデル分割を伴うVFLや,モデル分割を伴わないさまざまな設定について検討する。 どちらの設定でも、フレームワークの差分プライバシーメカニズムを慎重に分析します。 さらに,本フレームワークの副産物として,学習した線形ヘッドの重み付けが,ローカルクライアントの重要性を反映していることを示す。 実世界の4つのデータセットにおいて、VIMは最先端のデータベースと比較して、はるかに高い性能と高速な収束を実現していることを示す。 また、ローカルクライアントの重要性を明確に評価し、VIMがクライアントレベルの説明やクライアントの妄想といった機能を実現することを示す。

関連論文リスト

• FedMoE-DA: Federated Mixture of Experts via Domain Aware Fine-grained Aggregation [22.281467168796645]
  Federated Learning(FL)は、複数のクライアントがプライベートデータを共有せずにモデルをトレーニングできる、コラボレーティブな機械学習アプローチである。 我々は、新しいドメイン認識、きめ細かい集約戦略を取り入れた新しいFLモデルトレーニングフレームワークであるFedMoE-DAを提案し、ロバスト性、パーソナライズ性、通信効率を同時に向上する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:04Z)
• HierSFL: Local Differential Privacy-aided Split Federated Learning in Mobile Edge Computing [7.180235086275924]
  フェデレートラーニング(Federated Learning)は、データのプライバシを維持しながらユーザデータから学ぶための、有望なアプローチである。 Split Federated Learningは、クライアントが中間モデルトレーニング結果をクラウドサーバにアップロードして、協調的なサーバ-クライアントモデルのトレーニングを行う。 この手法は、モデルトレーニングへのリソース制約のあるクライアントの参加を促進するだけでなく、トレーニング時間と通信オーバーヘッドも増大させる。 我々は,階層的分割フェデレート学習(HierSFL)と呼ばれる新しいアルゴリズムを提案し,エッジとクラウドのフェーズでアマルガメートをモデル化する。
  論文  参考訳（メタデータ） (2024-01-16T09:34:10Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Secure Vertical Federated Learning Under Unreliable Connectivity [22.03946356498099]
  我々は、最初のドロップアウト耐性VFLプロトコルであるvFedSecを紹介する。 埋め込み-パディング技術とともに革新的なSecure Layerを使用することで、セキュアで効率的なモデルトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-05-26T10:17:36Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training [84.81043932706375]
  本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。 Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。 本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
  論文  参考訳（メタデータ） (2022-06-01T02:20:57Z)
• To Federate or Not To Federate: Incentivizing Client Participation in Federated Learning [22.3101738137465]
  フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。 本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-30T04:03:31Z)
• Context-Aware Online Client Selection for Hierarchical Federated Learning [33.205640790962505]
  フェデレートラーニング(FL)は、データプライバシ問題に対処するための魅力的なフレームワークだと考えられている。 フェデレートラーニング(FL)は、データプライバシ問題に対処するための魅力的なフレームワークだと考えられている。
  論文  参考訳（メタデータ） (2021-12-02T01:47:01Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。