Fugu-MT 論文翻訳(概要): How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study

論文の概要: How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study

arxiv url: http://arxiv.org/abs/2402.16087v2
Date: Wed, 22 May 2024 13:56:57 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 06:29:07.883722
Title: How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study
Title（参考訳）: フェデレートラーニングにおけるハイパーパラメータのプライベートチューニング法 : ベンチマークスタディからの考察
Authors: Natalija Mitic, Apostolos Pyrgelis, Sinem Sav,
Abstract要約: PrivTunaを使って、プライバシを保存するフェデレーション平均化と密度ベースのクラスタリングを実装しています。 PrivTunaは、多党同型暗号を用いたプライバシー保護HPチューニングのための新しいフレームワークである。
参考スコア（独自算出の注目度）: 1.4968312514344115
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we address the problem of privacy-preserving hyperparameter (HP) tuning for cross-silo federated learning (FL). We first perform a comprehensive measurement study that benchmarks various HP strategies suitable for FL. Our benchmarks show that the optimal parameters of the FL server, e.g., the learning rate, can be accurately and efficiently tuned based on the HPs found by each client on its local data. We demonstrate that HP averaging is suitable for iid settings, while density-based clustering can uncover the optimal set of parameters in non-iid ones. Then, to prevent information leakage from the exchange of the clients' local HPs, we design and implement PrivTuna, a novel framework for privacy-preserving HP tuning using multiparty homomorphic encryption. We use PrivTuna to implement privacy-preserving federated averaging and density-based clustering, and we experimentally evaluate its performance demonstrating its computation/communication efficiency and its precision in tuning hyperparameters.
Abstract（参考訳）: 本稿では,クロスサイロ・フェデレーション・ラーニング(FL)におけるプライバシ保存型ハイパーパラメータ(HP)チューニングの問題に対処する。まず、FLに適した様々なHP戦略をベンチマークする総合的な測定研究を行う。ベンチマークの結果、FLサーバの最適パラメータ、例えば学習速度は、各クライアントがローカルデータに基づいて検出したHPに基づいて正確かつ効率的に調整できることがわかった。我々は、HP平均化がiid設定に適していることを示し、密度ベースのクラスタリングは非iid設定のパラメータの最適セットを明らかにすることができることを示した。そして、クライアントのローカルHPの交換による情報漏洩を防止するため、多党同型暗号を用いたプライバシ保存HPチューニングのための新しいフレームワークであるPrivTunaを設計、実装する。プライバシ保存型フェデレーションと密度に基づくクラスタリングの実装にPrivTunaを用い,その計算/通信効率とハイパーパラメータのチューニング精度を実験的に評価した。

関連論文リスト

Immersion and Invariance-based Coding for Privacy-Preserving Federated Learning [1.5989047000011911]
協調分散学習におけるプライバシ保護手法として,フェデレートラーニング(FL)が登場している。制御理論から差分プライバシーとシステム浸漬ツールを組み合わせたプライバシー保護FLフレームワークを提案する。提案手法は,局所モデルパラメータとグローバルモデルパラメータの両方に対して,任意のレベルの差分プライバシを提供するように調整可能であることを実証する。
論文参考訳（メタデータ） (2024-09-25T15:04:42Z)
Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems [8.419845742978985]
本稿では,集中型システムにおけるフェデレートラーニング(FL)におけるプライバシ保護の課題に対処する。我々は、同種および異種データ分布に対する最適収束率を維持しつつ、微分プライバシ(DP)を確保する手法を考案した。
論文参考訳（メタデータ） (2024-07-17T08:19:58Z)
Efficient Federated Prompt Tuning for Black-box Large Pre-trained Models [62.838689691468666]
我々は,各ローカルデータセットを最適に活用するためのフェデレートブラックボックス・プロンプト・チューニング(Fed-BBPT)を提案する。 Fed-BBPTは、ローカルユーザーがレギュラーアグリゲーションを通じてプロンプトジェネレータを協調的に訓練するのを支援する中央サーバーに重点を置いている。大規模な微調整とは対照的に、Fed-BBPTは、PTMストレージとローカルマシンの微調整に関連するメモリの課題を、十分にサイドステップで解決している。
論文参考訳（メタデータ） (2023-10-04T19:30:49Z)
FedPop: Federated Population-based Hyperparameter Tuning [30.45354486897489]
Federated Learning(FL)は、分散機械学習(ML)パラダイムであり、複数のクライアントがローカルデータを集中することなく、協調的にMLモデルをトレーニングする。集中型MLのためのHPのチューニングに関する広範な研究にもかかわらず、これらの手法はFLでの使用時に準最適結果が得られる。これは主に、その"トレーニング後チューニング"フレームワークが、限られたクライアントパワーを持つFLには適さないためです。
論文参考訳（メタデータ） (2023-08-16T19:14:52Z)
Differentially Private Wireless Federated Learning Using Orthogonal Sequences [56.52483669820023]
本稿では,FLORAS と呼ばれる AirComp 法を提案する。 FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
論文参考訳（メタデータ） (2023-06-14T06:35:10Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
HPN: Personalized Federated Hyperparameter Optimization [41.587553874297676]
我々は、パーソナライズされたハイパーパラメータ最適化(pFedHPO)の2つの課題に対処する。指数関数的に増加する検索スペースを扱い、データのプライバシーを損なうことなく、各クライアントを特徴付ける。我々は、クライアントエンコーディングを施したtextscHypertextscParameter textscNetwork (HPN) を学習し、パーソナライズされたハイパーパラメータを決定する。
論文参考訳（メタデータ） (2023-04-11T13:02:06Z)
A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文参考訳（メタデータ） (2022-12-08T18:56:37Z)
FedHPO-B: A Benchmark Suite for Federated Hyperparameter Optimization [50.12374973760274]
本稿では,包括的FLタスクを組み込んだベンチマークスイートFedHPO-Bを提案する。我々はまた、FedHPO-Bに基づく広範な実験を行い、いくつかのHPO法をベンチマークする。
論文参考訳（メタデータ） (2022-06-08T15:29:10Z)
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文参考訳（メタデータ） (2022-01-25T04:43:29Z)
Differentially Private Federated Bayesian Optimization with Distributed Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。 DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文参考訳（メタデータ） (2021-10-27T04:11:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。