論文の概要: Federated Online Prediction from Experts with Differential Privacy: Separations and Regret Speed-ups
- arxiv url: http://arxiv.org/abs/2409.19092v1
- Date: Fri, 27 Sep 2024 18:43:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 04:30:57.912425
- Title: Federated Online Prediction from Experts with Differential Privacy: Separations and Regret Speed-ups
- Title（参考訳）: 異なるプライバシを持つ専門家によるフェデレートオンライン予測 - 分離とリフレットのスピードアップ
- Authors: Fengyu Gao, Ruiquan Huang, Jing Yang,
- Abstract要約: 本研究では, 敵・敵双方に対する専門家による個人別オンライン予測の問題点について検討する。
本稿では,Fed-DP-OPE-Stochアルゴリズムを提案する。
難解な敵によって、クライアント間のコラボレーションが後悔のスピードアップに繋がらないことを示す非自明な下位境界を確立します。
- 参考スコア（独自算出の注目度）: 6.925352969721467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problems of differentially private federated online prediction from experts against both stochastic adversaries and oblivious adversaries. We aim to minimize the average regret on $m$ clients working in parallel over time horizon $T$ with explicit differential privacy (DP) guarantees. With stochastic adversaries, we propose a Fed-DP-OPE-Stoch algorithm that achieves $\sqrt{m}$-fold speed-up of the per-client regret compared to the single-player counterparts under both pure DP and approximate DP constraints, while maintaining logarithmic communication costs. With oblivious adversaries, we establish non-trivial lower bounds indicating that collaboration among clients does not lead to regret speed-up with general oblivious adversaries. We then consider a special case of the oblivious adversaries setting, where there exists a low-loss expert. We design a new algorithm Fed-SVT and show that it achieves an $m$-fold regret speed-up under both pure DP and approximate DP constraints over the single-player counterparts. Our lower bound indicates that Fed-SVT is nearly optimal up to logarithmic factors. Experiments demonstrate the effectiveness of our proposed algorithms. To the best of our knowledge, this is the first work examining the differentially private online prediction from experts in the federated setting.
- Abstract（参考訳）: 本研究では, 確率的敵と難解な敵の双方に対する専門家による, 個人個人によるオンライン予測の問題点について検討する。
明確な差分プライバシー(DP)保証付きで、時間的水平線上で並行して作業する$m$クライアントに対する平均的後悔を最小化することを目的としています。
対数通信コストを抑えつつ、純粋DPと近似DPの制約下でのシングルプレイヤーと比較して、サイクル毎の後悔のスピードアップを$\sqrt{m}$-foldで達成するFed-DP-OPE-Stochアルゴリズムを提案する。
難解な敵を伴って、クライアント間のコラボレーションが一般的な難解な敵との後悔のスピードアップに繋がらないことを示す非自明な下位境界を確立する。
次に、低損失の専門家が存在する不愉快な敵の設定の特別な事例について考察する。
我々は新しいアルゴリズムであるFed-SVTを設計し、純粋なDPとに近いDP制約の両方の下で、$m$foldの後悔のスピードアップを達成することを示す。
我々の下限は、Fed-SVTが対数因子にほぼ最適であることを示している。
提案アルゴリズムの有効性を示す実験を行った。
私たちの知る限りでは、フェデレーテッド・セッティングの専門家による個人個人のオンライン予測を調査するのはこれが初めてです。
関連論文リスト
- Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。
ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
論文 参考訳（メタデータ） (2024-08-28T08:22:21Z) - Multi-Agent Imitation Learning: Value is Easy, Regret is Hard [52.31989962031179]
我々は,エージェント群を協調させようとする学習者の視点で,マルチエージェント模倣学習(MAIL)問題を研究する。
MAILの以前の作業のほとんどは、基本的には、デモのサポート内で専門家の振る舞いにマッチする問題を減らすものです。
エージェントが戦略的でないという仮定の下で、学習者と専門家の間の価値ギャップをゼロにするのに十分であるが、戦略的エージェントによる逸脱を保証するものではない。
論文 参考訳（メタデータ） (2024-06-06T16:18:20Z) - FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy [26.927356987142407]
本稿では,プライバシー保護のための$k$-meansクラスタリングの問題について検討する。
セキュアな計算を使った既存のアプローチは、かなりのオーバーヘッドに悩まされ、出力のプライバシを提供しない。
計算DPモデルを用いて、4桁の高速化を実現する軽量でセキュアな集約ベースのアプローチを設計する。
論文 参考訳（メタデータ） (2024-05-03T19:04:37Z) - Blink: Link Local Differential Privacy in Graph Neural Networks via
Bayesian Estimation [79.64626707978418]
分散ノード上でのリンクローカル差分プライバシーを用いてグラフニューラルネットワークをトレーニングする。
当社のアプローチでは、グラフトポロジをより悪用するために、グラフのリンクと学位を別々に、プライバシ予算に費やしています。
当社のアプローチは、様々なプライバシー予算の下での精度において、既存の手法よりも優れています。
論文 参考訳（メタデータ） (2023-09-06T17:53:31Z) - DP-BREM: Differentially-Private and Byzantine-Robust Federated Learning with Client Momentum [11.68347496182345]
フェデレートラーニング(FL)は、複数の参加するクライアントが機械学習モデルを協調的にトレーニングすることを可能にする。
既存のFLプロトコルは、データのプライバシやモデルの堅牢性を損なうような攻撃に対して脆弱である。
我々は,クロスサイロFLにおける差分プライバシ(DP)とビザンチンの堅牢性を同時に達成することに注力する。
論文 参考訳（メタデータ） (2023-06-22T00:11:53Z) - Federated Linear Contextual Bandits with User-level Differential Privacy [8.396384861175799]
本稿では,ユーザレベル差分プライバシ(DP)の概念に基づく連立線形文脈帯域について検討する。
まず,DP の様々な定義を逐次決定設定で適用可能な統合された帯域幅フレームワークを提案する。
次に, ユーザレベルの集中型DP (CDP) とローカルDP (LDP) をフェデレート・バンディット・フレームワークに正式に導入し, 学習後悔と対応するDP保証との根本的なトレードオフについて検討する。
論文 参考訳（メタデータ） (2023-06-08T15:21:47Z) - Private Online Prediction from Experts: Separations and Faster Rates [74.52487417350221]
専門家によるオンライン予測は機械学習の基本的な問題であり、いくつかの研究がプライバシーの制約の下でこの問題を研究している。
本研究では,非適応的敵に対する最良な既存アルゴリズムの残差を克服する新たなアルゴリズムを提案し,解析する。
論文 参考訳（メタデータ） (2022-10-24T18:40:19Z) - Generalised Likelihood Ratio Testing Adversaries through the
Differential Privacy Lens [69.10072367807095]
微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。
我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。
この緩やかな緩和は、プライバシー保証の改善につながる。
論文 参考訳（メタデータ） (2022-10-24T08:24:10Z) - Connect the Dots: Tighter Discrete Approximations of Privacy Loss
Distributions [49.726408540784334]
PLDベースの会計の鍵となる問題は、特定の個別サポートに対してPLDと(潜在的に連続的な)PLDをどのように近似するかである。
悲観的推定はすべての悲観的推定の中で最良であることを示す。
論文 参考訳（メタデータ） (2022-07-10T04:25:02Z) - Output Perturbation for Differentially Private Convex Optimization with
Improved Population Loss Bounds, Runtimes and Applications to Private
Adversarial Training [12.386462516398469]
強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。
我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。
我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
論文 参考訳（メタデータ） (2021-02-09T08:47:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。