論文の概要: Differential Privacy in Hierarchical Federated Learning: A Formal Analysis and Evaluation

• arxiv url: http://arxiv.org/abs/2401.11592v1
• Date: Sun, 21 Jan 2024 20:46:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:43:10.317103
• Title: Differential Privacy in Hierarchical Federated Learning: A Formal Analysis and Evaluation
• Title（参考訳）: 階層型フェデレーション学習における微分プライバシー : 形式的分析と評価
• Authors: Frank Po-Chen Lin and Christopher Brinton
• Abstract要約: フェデレートラーニング(FL)は、ネットワーク上の生データの送信を排除しますが、通信されたモデルパラメータからのプライバシー侵害に対して脆弱です。 本研究では,DP強化FL手法であるDP-HFLを定式化した。
• 参考スコア（独自算出の注目度）: 0.783218941317936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While federated learning (FL) eliminates the transmission of raw data over a network, it is still vulnerable to privacy breaches from the communicated model parameters. In this work, we formalize Differentially Private Hierarchical Federated Learning (DP-HFL), a DP-enhanced FL methodology that seeks to improve the privacy-utility tradeoff inherent in FL. Building upon recent proposals for Hierarchical Differential Privacy (HDP), one of the key concepts of DP-HFL is adapting DP noise injection at different layers of an established FL hierarchy -- edge devices, edge servers, and cloud servers -- according to the trust models within particular subnetworks. We conduct a comprehensive analysis of the convergence behavior of DP-HFL, revealing conditions on parameter tuning under which the model training process converges sublinearly to a stationarity gap, with this gap depending on the network hierarchy, trust model, and target privacy level. Subsequent numerical evaluations demonstrate that DP-HFL obtains substantial improvements in convergence speed over baselines for different privacy budgets, and validate the impact of network configuration on training.
• Abstract（参考訳）: フェデレーション学習(fl)はネットワーク上の生データの送信を排除しているが、通信されたモデルパラメータからのプライバシ侵害に対して脆弱である。 本研究では,flに固有のプライバシ利用トレードオフの改善を目的とした,dp-enhanced fl方法論である差分プライベート階層型連合学習(dp-hfl)を定式化する。 最近の階層微分プライバシー(HDP)の提案に基づいて、DP-HFLの重要な概念の1つは、特定のサブネットワーク内の信頼モデルに従って、確立されたFL階層(エッジデバイス、エッジサーバ、クラウドサーバ)の異なる層にDPノイズ注入を適用することである。 本研究では,DP-HFLの収束挙動を包括的に解析し,ネットワーク階層,信頼モデル,ターゲットのプライバシレベルに応じて,モデルトレーニングプロセスが定常性ギャップにサブライン的に収束するパラメータチューニングの条件を明らかにする。 その後の数値評価により、dp-hflは異なるプライバシー予算のベースラインに対する収束速度を大幅に改善し、ネットワーク構成がトレーニングに与える影響を検証することが示されている。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Differentially Private Over-the-Air Federated Learning Over MIMO Fading Channels [24.534729104570417]
  フェデレートラーニング(FL)は、エッジデバイスが機械学習モデルを協調的にトレーニングすることを可能にする。 オーバー・ザ・エアのモデルアグリゲーションは通信効率を向上させるが、無線ネットワーク上のエッジサーバにモデルをアップロードすると、プライバシのリスクが生じる可能性がある。 FLモデルとマルチアンテナサーバとの通信がプライバシー漏洩を増幅することを示す。
  論文  参考訳（メタデータ） (2023-06-19T14:44:34Z)
• Differentially Private Wireless Federated Learning Using Orthogonal Sequences [56.52483669820023]
  本稿では,FLORAS と呼ばれる AirComp 法を提案する。 FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。 新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
  論文  参考訳（メタデータ） (2023-06-14T06:35:10Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• LDP-Fed: Federated Learning with Local Differential Privacy [14.723892247530234]
  ローカルディファレンシャルプライバシ(LDP)を用いた正式なプライバシ保証を備えた新しいフェデレーション学習システム LDP-Fed を提案する。 既存のLPPプロトコルは、主に単一の数値またはカテゴリ値の収集におけるデータのプライバシを確保するために開発されている。 連合学習モデルでは、各参加者からパラメータの更新を反復的に収集する。
  論文  参考訳（メタデータ） (2020-06-05T19:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。