論文の概要: FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks
- arxiv url: http://arxiv.org/abs/2210.14226v1
- Date: Tue, 25 Oct 2022 08:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:36:53.231700
- Title: FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks
- Title(参考訳): FedClassAvg:異種ニューラルネットワークを用いた個人化フェデレーション学習のための局所表現学習
- Authors: Jaehee Jang, Heonseok Ha, Dahuin Jung, Sungroh Yoon
- Abstract要約: 我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
- 参考スコア(独自算出の注目度): 21.613436984547917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personalized federated learning is aimed at allowing numerous clients to
train personalized models while participating in collaborative training in a
communication-efficient manner without exchanging private data. However, many
personalized federated learning algorithms assume that clients have the same
neural network architecture, and those for heterogeneous models remain
understudied. In this study, we propose a novel personalized federated learning
method called federated classifier averaging (FedClassAvg). Deep neural
networks for supervised learning tasks consist of feature extractor and
classifier layers. FedClassAvg aggregates classifier weights as an agreement on
decision boundaries on feature spaces so that clients with not independently
and identically distributed (non-iid) data can learn about scarce labels. In
addition, local feature representation learning is applied to stabilize the
decision boundaries and improve the local feature extraction capabilities for
clients. While the existing methods require the collection of auxiliary data or
model weights to generate a counterpart, FedClassAvg only requires clients to
communicate with a couple of fully connected layers, which is highly
communication-efficient. Moreover, FedClassAvg does not require extra
optimization problems such as knowledge transfer, which requires intensive
computation overhead. We evaluated FedClassAvg through extensive experiments
and demonstrated it outperforms the current state-of-the-art algorithms on
heterogeneous personalized federated learning tasks.
- Abstract(参考訳): パーソナライズド・フェデレーション・ラーニング(Personalized Federated Learning)は、プライベートデータを交換することなく、コミュニケーション効率のよいコミュニケーショントレーニングをしながら、多数のクライアントがパーソナライズド・モデルのトレーニングを可能にすることを目的としている。
しかし、多くのパーソナライズされた連合学習アルゴリズムは、クライアントが同じニューラルネットワークアーキテクチャを持っていると仮定しており、異種モデルの学習は未検討のままである。
本研究では,フェデレーション型分類器平均化(FedClassAvg)と呼ばれる,個人化型学習手法を提案する。
教師付き学習タスクのためのディープニューラルネットワークは、特徴抽出層と分類層で構成される。
FedClassAvgは、特徴空間上の決定境界に関する合意として分類器の重みを集約するので、独立して同じ分散データを持たないクライアントは、不足ラベルについて学ぶことができる。
さらに、決定境界を安定させ、クライアントの局所特徴抽出機能を改善するために、局所特徴表現学習を適用した。
既存の手法では補助データやモデル重みを収集して対応する層を生成する必要があるが、feedclassavgはクライアントが複数の完全接続層と通信することしか必要とせず、通信効率が高い。
さらに、FedClassAvgは、計算オーバーヘッドの集中を要する知識伝達のような、余分な最適化問題を必要としない。
我々はfeedclassavgを広範囲な実験を通して評価し,そのアルゴリズムがヘテロジニアス・パーソナライズド・フェデレーション・ラーニングタスクに匹敵することを示した。
関連論文リスト
- Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth
and Data Heterogeneity [14.313847382199059]
Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。
Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
論文 参考訳(メタデータ) (2023-12-20T19:11:19Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Personalized Federated Learning with Feature Alignment and Classifier
Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。
ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。
本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文 参考訳(メタデータ) (2023-06-20T19:58:58Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - FedHP: Heterogeneous Federated Learning with Privacy-preserving [0.0]
フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。
本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。
勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
論文 参考訳(メタデータ) (2023-01-27T13:32:17Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。
FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。
FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文 参考訳(メタデータ) (2022-02-15T22:16:06Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。