論文の概要: Linear Speedup in Personalized Collaborative Learning

• arxiv url: http://arxiv.org/abs/2111.05968v1
• Date: Wed, 10 Nov 2021 22:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-13 03:33:47.564211
• Title: Linear Speedup in Personalized Collaborative Learning
• Title（参考訳）: 個人化協調学習における線形高速化
• Authors: El Mahdi Chayti, Sai Praneeth Karimireddy, Sebastian U. Stich, Nicolas Flammarion, and Martin Jaggi
• Abstract要約: フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
• 参考スコア（独自算出の注目度）: 69.45124829480106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalization in federated learning can improve the accuracy of a model for a user by trading off the model's bias (introduced by using data from other users who are potentially different) against its variance (due to the limited amount of data on any single user). In order to develop training algorithms that optimally balance this trade-off, it is necessary to extend our theoretical foundations. In this work, we formalize the personalized collaborative learning problem as stochastic optimization of a user's objective $f_0(x)$ while given access to $N$ related but different objectives of other users $\{f_1(x), \dots, f_N(x)\}$. We give convergence guarantees for two algorithms in this setting -- a popular personalization method known as \emph{weighted gradient averaging}, and a novel \emph{bias correction} method -- and explore conditions under which we can optimally trade-off their bias for a reduction in variance and achieve linear speedup w.r.t.\ the number of users $N$. Further, we also empirically study their performance confirming our theoretical insights.
• Abstract（参考訳）: フェデレート学習におけるパーソナライゼーションは、モデルのバイアス(潜在的に異なる他のユーザのデータを使用することによって導入される)を、その分散(任意のユーザ上の限られた量のデータのため)から引き離すことによって、モデルの精度を向上させることができる。 このトレードオフを最適にバランスさせるトレーニングアルゴリズムを開発するためには、理論基盤を拡張する必要がある。 本研究では、ユーザの目的である$f_0(x)$の確率的最適化としてパーソナライズされた協調学習問題を定式化するとともに、他のユーザの目標である$\{f_1(x), \dots, f_N(x)\}$へのアクセスを付与する。 この設定では,2つのアルゴリズムの収束保証 – 一般的なパーソナライズ手法である 'emph{weighted gradient averaging} と,新しい 'emph{bias correct} 法 – が与えられ,分散の低減のためにバイアスを最適にトレードオフし,線形スピードアップを達成できる条件を探索する。 さらに,理論的な知見を裏付ける効果についても実験的に検討した。

関連論文リスト

• Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning [12.742158403867002]
  ヒューマンフィードバックからの強化学習は、基礎モデルを人間の価値観や好みに合わせるための強力なパラダイムである。 現在のRLHF技術は、多様な集団における個人の嗜好の自然に生じる相違を説明できない。 マルチモーダルなRLHF手法のクラスを開発し,多元的アライメントの必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-19T15:18:30Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Individual Fairness Guarantees for Neural Networks [0.0]
  我々は、フィードフォワードニューラルネットワーク(NN)の個人公正性(IF)を認定する問題を考える。 我々は$epsilon$-$delta$-IF の定式化に取り組んでおり、$epsilon$-similar の任意のペア間の出力差は最大決定耐性によって制限される。 この定式化は、NN損失を変更することで、トレーニング時のモデルの公平性を促進するためにどのように使用できるかを示し、我々のアプローチが最先端の手法よりもはるかに公平なNNを生成することを実証的に確認する。
  論文  参考訳（メタデータ） (2022-05-11T20:21:07Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Tight and Robust Private Mean Estimation with Few Users [16.22135057266913]
  ユーザレベルの差分プライバシーに基づく高次元平均推定について検討する。 可能な限り少数のユーザを使って、$(eps,delta)$-differentially privateメカニズムを設計します。
  論文  参考訳（メタデータ） (2021-10-22T16:02:21Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。