論文の概要: Differentially-Private Multi-Tier Federated Learning

• arxiv url: http://arxiv.org/abs/2401.11592v5
• Date: Fri, 08 Nov 2024 03:37:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:28.014781
• Title: Differentially-Private Multi-Tier Federated Learning
• Title（参考訳）: 差分生成型多階層フェデレーション学習
• Authors: Evan Chen, Frank Po-Chen Lin, Dong-Jun Han, Christopher G. Brinton,
• Abstract要約: 多階層差分プライバシーを用いた多階層フェデレーション学習(M2FDP)を提案する。 M2FDPは、階層型ネットワークにおけるプライバシーと性能を協調的に最適化するためのDP強化FL手法である。
• 参考スコア（独自算出の注目度）: 14.725823723623213
• License:
• Abstract: While federated learning (FL) eliminates the transmission of raw data over a network, it is still vulnerable to privacy breaches from the communicated model parameters. In this work, we propose Multi-Tier Federated Learning with Multi-Tier Differential Privacy (M^2FDP), a DP-enhanced FL methodology for jointly optimizing privacy and performance in hierarchical networks. One of the key concepts of M^2FDP is to extend the concept of HDP towards Multi-Tier Differential Privacy (MDP), while also adapting DP noise injection at different layers of an established FL hierarchy -- edge devices, edge servers, and cloud servers -- according to the trust models within particular subnetworks. We conduct a comprehensive analysis of the convergence behavior of M^2FDP, revealing conditions on parameter tuning under which the training process converges sublinearly to a finite stationarity gap that depends on the network hierarchy, trust model, and target privacy level. Subsequent numerical evaluations demonstrate that M^2FDP obtains substantial improvements in these metrics over baselines for different privacy budgets, and validate the impact of different system configurations.
• Abstract（参考訳）: FL(Federated Learning)は、ネットワーク上の生データの送信を排除しますが、通信されたモデルパラメータからのプライバシー侵害に対して脆弱です。 本研究では、階層ネットワークにおけるプライバシーと性能を協調的に最適化するDP強化FL手法であるM^2FDP(Multi-Tier Differential Privacy)を提案する。 M^2FDPのキーコンセプトの1つは、HDPの概念をマルチティア微分プライバシー(MDP)へ拡張すると同時に、特定のサブネットワーク内の信頼モデルに従って、確立されたFL階層(エッジデバイス、エッジサーバ、クラウドサーバ)の異なるレイヤでDPノイズ注入を適用することである。 我々は,M^2FDPの収束挙動を包括的に解析し,ネットワーク階層や信頼モデル,ターゲットのプライバシレベルに依存する有限な定常性ギャップに対して,トレーニングプロセスがサブライン的に収束するパラメータチューニングの条件を明らかにする。 その後の数値評価では、M^2FDPは、異なるプライバシ予算の基準よりも大幅に改善され、異なるシステム構成の影響が検証された。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Universally Harmonizing Differential Privacy Mechanisms for Federated Learning: Boosting Accuracy and Convergence [22.946928984205588]
  ディファレンシャル・プライベート・フェデレーション・ラーニング(DP-FL)は協調モデルトレーニングにおいて有望な手法である。 本稿では,任意のランダム化機構を普遍的に調和させる最初のDP-FLフレームワーク(UDP-FL)を提案する。 その結果,UDP-FLは異なる推論攻撃に対して強い耐性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-20T00:11:59Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  PaLoRAは、タスク固有の低ランクアダプタでオリジナルのモデルを拡張する、新しいパラメータ効率の手法である。 実験の結果,PaLoRAは様々なデータセットでMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• Differentially Private Over-the-Air Federated Learning Over MIMO Fading Channels [24.534729104570417]
  フェデレートラーニング(FL)は、エッジデバイスが機械学習モデルを協調的にトレーニングすることを可能にする。 オーバー・ザ・エアのモデルアグリゲーションは通信効率を向上させるが、無線ネットワーク上のエッジサーバにモデルをアップロードすると、プライバシのリスクが生じる可能性がある。 FLモデルとマルチアンテナサーバとの通信がプライバシー漏洩を増幅することを示す。
  論文  参考訳（メタデータ） (2023-06-19T14:44:34Z)
• Differentially Private Wireless Federated Learning Using Orthogonal Sequences [56.52483669820023]
  本稿では,FLORAS と呼ばれる AirComp 法を提案する。 FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。 新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
  論文  参考訳（メタデータ） (2023-06-14T06:35:10Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• LDP-Fed: Federated Learning with Local Differential Privacy [14.723892247530234]
  ローカルディファレンシャルプライバシ(LDP)を用いた正式なプライバシ保証を備えた新しいフェデレーション学習システム LDP-Fed を提案する。 既存のLPPプロトコルは、主に単一の数値またはカテゴリ値の収集におけるデータのプライバシを確保するために開発されている。 連合学習モデルでは、各参加者からパラメータの更新を反復的に収集する。
  論文  参考訳（メタデータ） (2020-06-05T19:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。