論文の概要: FedProto: Federated Prototype Learning over Heterogeneous Devices
- arxiv url: http://arxiv.org/abs/2105.00243v1
- Date: Sat, 1 May 2021 13:21:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 13:45:07.545986
- Title: FedProto: Federated Prototype Learning over Heterogeneous Devices
- Title（参考訳）: FedProto: 異種デバイスによるフェデレーションプロトタイプ学習
- Authors: Yue Tan, Guodong Long, Lu Liu, Tianyi Zhou and Jing Jiang
- Abstract要約: 本稿では,デバイスとサーバが勾配ではなくクラスプロトタイプを通信する,新しいfederated prototype learning(fedproto)フレームワークを提案する。
fedprotoは、さまざまなデバイスから収集したローカルプロトタイプを集約し、グローバルプロトタイプをすべてのデバイスに送信して、ローカルモデルのトレーニングを定期化する。
各デバイスでのトレーニングは,各ローカルデータの分類誤差を最小限に抑えつつ,結果のローカルプロトタイプを対応するグローバルデータに十分近いものにすることを目的としている。
- 参考スコア（独自算出の注目度）: 40.10333186507569
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The heterogeneity across devices usually hinders the optimization convergence
and generalization performance of federated learning (FL) when the aggregation
of devices' knowledge occurs in the gradient space. For example, devices may
differ in terms of data distribution, network latency, input/output space,
and/or model architecture, which can easily lead to the misalignment of their
local gradients. To improve the tolerance to heterogeneity, we propose a novel
federated prototype learning (FedProto) framework in which the devices and
server communicate the class prototypes instead of the gradients. FedProto
aggregates the local prototypes collected from different devices, and then
sends the global prototypes back to all devices to regularize the training of
local models. The training on each device aims to minimize the classification
error on the local data while keeping the resulting local prototypes
sufficiently close to the corresponding global ones. Through experiments, we
propose a benchmark setting tailored for heterogeneous FL, with FedProto
outperforming several recent FL approaches on multiple datasets.
- Abstract（参考訳）: デバイス間の不均一性は、通常、デバイス知識の集積が勾配空間で起こる場合、連合学習(fl)の最適化収束と一般化性能を妨げる。
例えば、デバイスはデータ分散、ネットワーク遅延、入出力スペース、および/またはモデルアーキテクチャの点で異なり、ローカルな勾配の誤調整につながる可能性がある。
不均一性に対する耐性を向上させるために,デバイスとサーバが勾配の代わりにクラスプロトタイプを通信する新しいフェデレーション型プロトタイプ学習(FedProto)フレームワークを提案する。
fedprotoは、さまざまなデバイスから収集したローカルプロトタイプを集約し、グローバルプロトタイプをすべてのデバイスに送信して、ローカルモデルのトレーニングを定期化する。
各デバイスでのトレーニングは,各ローカルデータの分類誤差を最小限に抑えつつ,結果のローカルプロトタイプを対応するグローバルデータに十分に近づけることを目的としている。
実験により、FedProtoは複数のデータセットに対する最近のFLアプローチよりも優れており、異種FLに適したベンチマーク設定を提案する。
関連論文リスト
- FedAli: Personalized Federated Learning with Aligned Prototypes through Optimal Transport [9.683642138601464]
フェデレートラーニング(FL)は、生データを共有することなく、複数のデバイス間で協調してパーソナライズされたモデルトレーニングを可能にする。
入力埋め込みを学習可能なプロトタイプに近づけるPrototypesレイヤのアライメントを導入する。
我々はFedAliを異種センサによる人間の活動認識と視覚ベンチマークのデータセットで評価し、既存のFL戦略よりも優れていることを示した。
論文 参考訳（メタデータ） (2024-11-15T21:35:21Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Embedding Alignment for Unsupervised Federated Learning via Smart Data
Exchange [21.789359767103154]
フェデレートラーニング(FL)は、分散機械学習(ML)の最も有望なソリューションの1つとして認識されている。
我々は、ラベルのないデータセットを持つエッジデバイス間のFLのための新しい手法CF-CL(Cooperative Federated Unsupervised Contrastive Learning)を開発した。
論文 参考訳（メタデータ） (2022-08-04T19:26:59Z) - FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文 参考訳（メタデータ） (2022-06-21T17:23:06Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Gradual Federated Learning with Simulated Annealing [26.956032164461377]
フェデレート平均化(FedAvg)は、ローカルモデルを平均化してグローバルモデルを更新する一般的なフェデレーション学習(FL)技術である。
本稿では,シミュレーションアニーリングに基づく新しいFL法を提案する。
本稿では,従来のFedAvg法よりも収束速度と分類精度が優れていることを示す。
論文 参考訳（メタデータ） (2021-10-11T11:57:56Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳（メタデータ） (2021-06-10T21:04:18Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。