論文の概要: Three Approaches for Personalization with Applications to Federated
Learning
- arxiv url: http://arxiv.org/abs/2002.10619v2
- Date: Sun, 19 Jul 2020 21:02:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 20:44:05.139592
- Title: Three Approaches for Personalization with Applications to Federated
Learning
- Title(参考訳): フェデレーション学習におけるパーソナライズのための3つのアプローチ
- Authors: Yishay Mansour and Mehryar Mohri and Jae Ro and Ananda Theertha Suresh
- Abstract要約: 本稿では,パーソナライゼーションの体系的学習理論について述べる。
学習理論の保証と効率的なアルゴリズムを提供し、その性能を実証する。
全てのアルゴリズムはモデルに依存しず、任意の仮説クラスで機能する。
- 参考スコア(独自算出の注目度): 68.19709953755238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The standard objective in machine learning is to train a single model for all
users. However, in many learning scenarios, such as cloud computing and
federated learning, it is possible to learn a personalized model per user. In
this work, we present a systematic learning-theoretic study of personalization.
We propose and analyze three approaches: user clustering, data interpolation,
and model interpolation. For all three approaches, we provide
learning-theoretic guarantees and efficient algorithms for which we also
demonstrate the performance empirically. All of our algorithms are
model-agnostic and work for any hypothesis class.
- Abstract(参考訳): 機械学習の標準的な目標は、すべてのユーザに対して単一のモデルをトレーニングすることだ。
しかし、クラウドコンピューティングやフェデレーション学習といった多くの学習シナリオでは、ユーザ毎にパーソナライズされたモデルを学ぶことができる。
本研究では,パーソナライズに関する体系的な学習理論を提示する。
本稿では,ユーザクラスタリング,データ補間,モデル補間という3つのアプローチを提案する。
これら3つのアプローチすべてに対して,学習理論の保証と効率的なアルゴリズムを提供し,その性能を実証的に示す。
全てのアルゴリズムはモデルに依存しず、任意の仮説クラスで機能する。
関連論文リスト
- Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - FedCBO: Reaching Group Consensus in Clustered Federated Learning through
Consensus-based Optimization [1.911678487931003]
フェデレーション学習は、複数のユーザから学習モデルをトレーニングし、各ユーザが独自のデータセットを持ち、データのプライバシやコミュニケーション損失の制約に敏感な方法で統合することを目指している。
本稿では,コンセンサスに基づく最適化(CBO)のアイデアに触発された,グローバルでクラスタ化されたフェデレーション学習問題に対する新しい解決策を提案する。
我々の新しいCBO型法は、グループに不利な相互作用粒子のシステムに基づいている。
論文 参考訳(メタデータ) (2023-05-04T15:02:09Z) - Algorithmic Collective Action in Machine Learning [35.91866986642348]
機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。
本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。
我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
論文 参考訳(メタデータ) (2023-02-08T18:55:49Z) - A Generative Framework for Personalized Learning and Estimation: Theory,
Algorithms, and Privacy [10.27527187262914]
我々は、いくつかの異なるアルゴリズムを統一し、新しいアルゴリズムを提案することができる生成フレームワークを開発した。
次に、生成フレームワークを学習に使用し、既知のパーソナライズされたFLアルゴリズムを統一し、新しいFLアルゴリズムを提案する。
また、ユーザレベルのプライバシーと構成を保証するパーソナライズされた学習手法のプライバシも開発している。
論文 参考訳(メタデータ) (2022-07-05T02:18:44Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳(メタデータ) (2022-06-05T01:14:46Z) - A Personalized Federated Learning Algorithm: an Application in Anomaly
Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。
FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。
本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文 参考訳(メタデータ) (2021-11-04T04:57:11Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T22:46:19Z) - Learning by Distillation: A Self-Supervised Learning Framework for
Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。
KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。
我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文 参考訳(メタデータ) (2021-06-08T09:13:34Z) - Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。
本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。
sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
論文 参考訳(メタデータ) (2020-12-23T05:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。