論文の概要: Decentralized Personalized Online Federated Learning
- arxiv url: http://arxiv.org/abs/2311.04817v1
- Date: Wed, 8 Nov 2023 16:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-09 15:12:39.008695
- Title: Decentralized Personalized Online Federated Learning
- Title（参考訳）: 個人化オンラインフェデレーションラーニング
- Authors: Renzhi Wu and Saayan Mitra and Xiang Chen and Anup Rao
- Abstract要約: バニラ連合学習は、オンライン環境での学習、各クライアントでパーソナライズされたモデル学習、分散環境での学習をサポートしない。
我々は,これら3つの側面を同時に考慮した,分散化された個人化オンラインフェデレーションラーニングを新たに提案する。
提案手法の有効性とロバスト性を実世界の3項目推薦データセットと1つの空気質予測データセットで検証した。
- 参考スコア（独自算出の注目度）: 13.76896613426515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vanilla federated learning does not support learning in an online
environment, learning a personalized model on each client, and learning in a
decentralized setting. There are existing methods extending federated learning
in each of the three aspects. However, some important applications on
enterprise edge servers (e.g. online item recommendation at global scale)
involve the three aspects at the same time. Therefore, we propose a new
learning setting \textit{Decentralized Personalized Online Federated Learning}
that considers all the three aspects at the same time.
In this new setting for learning, the first technical challenge is how to
aggregate the shared model parameters from neighboring clients to obtain a
personalized local model with good performance on each client. We propose to
directly learn an aggregation by optimizing the performance of the local model
with respect to the aggregation weights. This not only improves personalization
of each local model but also helps the local model adapting to potential data
shift by intelligently incorporating the right amount of information from its
neighbors. The second challenge is how to select the neighbors for each client.
We propose a peer selection method based on the learned aggregation weights
enabling each client to select the most helpful neighbors and reduce
communication cost at the same time. We verify the effectiveness and robustness
of our proposed method on three real-world item recommendation datasets and one
air quality prediction dataset.
- Abstract（参考訳）: バニラ連合学習は、オンライン環境での学習、各クライアントでパーソナライズされたモデル学習、分散環境での学習をサポートしない。
フェデレーション学習を3つの側面それぞれに拡張する既存の方法がある。
しかし、エンタープライズエッジサーバ上のいくつかの重要なアプリケーション(例えば、グローバルスケールでのオンラインアイテムレコメンデーション)は、同時に3つの側面を含んでいる。
そこで我々は,これら3つの側面を同時に考慮した新しい学習環境であるtextit{Decentralized Personalized Online Federated Learning}を提案する。
この新しい学習環境において、最初の技術的課題は、隣接するクライアントから共有モデルパラメータを集約して、各クライアントで優れたパフォーマンスを持つパーソナライズされたローカルモデルを得る方法である。
本稿では,集約重みに関する局所モデルの性能を最適化し,アグリゲーションを直接学習することを提案する。
これは、各ローカルモデルのパーソナライズを改善するだけでなく、近隣の適切な情報をインテリジェントに組み込むことによって、潜在的なデータシフトに対応するローカルモデルを支援する。
第2の課題は、クライアント毎に隣人を選択する方法だ。
本稿では,各クライアントが最も有用な隣人を選択し,同時に通信コストを削減することを可能にする,学習集約重みに基づくピア選択手法を提案する。
提案手法の有効性とロバスト性を実世界の3項目推薦データセットと1つの空気質予測データセットで検証した。
関連論文リスト
- Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。
PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
論文 参考訳（メタデータ） (2023-06-08T19:12:42Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Subspace Learning for Personalized Federated Optimization [7.475183117508927]
本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。
提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
論文 参考訳（メタデータ） (2021-09-16T00:03:23Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Information-Theoretic Bounds on the Generalization Error and Privacy
Leakage in Federated Learning [96.38757904624208]
モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。
この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
論文 参考訳（メタデータ） (2020-05-05T21:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。