論文の概要: Exploiting Shared Representations for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2102.07078v1
- Date: Sun, 14 Feb 2021 05:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:22:58.165412
- Title: Exploiting Shared Representations for Personalized Federated Learning
- Title（参考訳）: 個人化フェデレーション学習のための共有表現の探索
- Authors: Liam Collins, Hamed Hassani, Aryan Mokhtari, Sanjay Shakkottai
- Abstract要約: クライアント間で共有データ表現を学習するための新しいフェデレーション学習フレームワークとアルゴリズムを提案し、クライアントごとに独自のローカルヘッドを提供します。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
- 参考スコア（独自算出の注目度）: 60.7486362471543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have shown the ability to extract universal feature
representations from data such as images and text that have been useful for a
variety of learning tasks. However, the fruits of representation learning have
yet to be fully-realized in federated settings. Although data in federated
settings is often non-i.i.d. across clients, the success of centralized deep
learning suggests that data often shares a global feature representation, while
the statistical heterogeneity across clients or tasks is concentrated in the
labels. Based on this intuition, we propose a novel federated learning
framework and algorithm for learning a shared data representation across
clients and unique local heads for each client. Our algorithm harnesses the
distributed computational power across clients to perform many local-updates
with respect to the low-dimensional local parameters for every update of the
representation. We prove that this method obtains linear convergence to the
ground-truth representation with near-optimal sample complexity in a linear
setting, demonstrating that it can efficiently reduce the problem dimension for
each client. Further, we provide extensive experimental results demonstrating
the improvement of our method over alternative personalized federated learning
approaches in heterogeneous settings.
- Abstract（参考訳）: ディープニューラルネットワークは、さまざまな学習タスクに有用な画像やテキストなどのデータから普遍的な特徴表現を抽出する能力を示しています。
しかし、表現学習の成果はまだフェデレーション設定で完全に実現されていない。
フェデレーション設定のデータはしばしば非i.i.dである。
クライアント間での集中型ディープラーニングの成功は、データがグローバルな特徴表現を共有することの多いことを示し、クライアントやタスク間の統計的不均一性はラベルに集中している。
この直観に基づいて,クライアント間の共有データ表現と,クライアント毎にユニークなローカルヘッドを学習するための,新しい連合学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
本手法は,クライアント毎の問題次元を効率的に削減できることを示すために,最適に近いサンプル複雑性を持つ接地表現への線形収束を線形設定で得ることを実証する。
さらに,異種環境下での個別化学習手法よりも,提案手法の改良を実証した広範な実験結果も提示する。
関連論文リスト
- FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - FRAug: Tackling Federated Learning with Non-IID Features via
Representation Augmentation [24.22519944445194]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。
本稿では,FRAug(Federated Representation Augmentation)を提案する。
当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文 参考訳（メタデータ） (2022-05-30T07:43:42Z) - FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。
我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。
異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文 参考訳（メタデータ） (2022-05-27T00:55:24Z) - Distributed Unsupervised Visual Representation Learning with Fused
Features [13.935997509072669]
フェデレートラーニング(FL)により、分散クライアントは、各クライアントにトレーニングデータをローカルに保持しながら、予測のための共有モデルを学ぶことができる。
本稿では,特徴融合と近傍マッチングという2つのアプローチからなる相互比較学習フレームワークを提案する。
IIDデータでは、他の手法よりも11%優れており、集中学習のパフォーマンスに匹敵する。
論文 参考訳（メタデータ） (2021-11-21T08:36:31Z) - Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。
最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。
本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-11-17T19:40:07Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。