論文の概要: Prototype Helps Federated Learning: Towards Faster Convergence

• arxiv url: http://arxiv.org/abs/2303.12296v1
• Date: Wed, 22 Mar 2023 04:06:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 15:30:36.402011
• Title: Prototype Helps Federated Learning: Towards Faster Convergence
• Title（参考訳）: フェデレーションラーニングを支援するPrototype - より高速な収束を目指す
• Authors: Yu Qiao, Seong-Bae Park, Sun Moo Kang, and Choong Seon Hong
• Abstract要約: Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 38.517903009319994
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning (FL) is a distributed machine learning technique in which multiple clients cooperate to train a shared model without exchanging their raw data. However, heterogeneity of data distribution among clients usually leads to poor model inference. In this paper, a prototype-based federated learning framework is proposed, which can achieve better inference performance with only a few changes to the last global iteration of the typical federated learning process. In the last iteration, the server aggregates the prototypes transmitted from distributed clients and then sends them back to local clients for their respective model inferences. Experiments on two baseline datasets show that our proposal can achieve higher accuracy (at least 1%) and relatively efficient communication than two popular baselines under different heterogeneous settings.
• Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 しかし、クライアント間のデータ分散の不均一性は通常、モデル推論の貧弱につながる。 本稿では,典型的なフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,よりよい推論性能を実現するための,プロトタイプベースのフェデレーション学習フレームワークを提案する。 前回のイテレーションでは、サーバは分散クライアントから送信されたプロトタイプを集約し、各モデル推論のためにローカルクライアントに送信する。 2つのベースラインデータセットにおける実験により、異なる不均一な設定下での2つの一般的なベースラインよりも高い精度(少なくとも1%)と、比較的効率的な通信が可能となった。

関連論文リスト

• Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains [8.047147770476212]
  フェデレートラーニング(FL)は、プライベートデータを共有することなく、協調的な機械学習トレーニングを可能にする。 ほとんどのFLメソッドは、クライアント間で同じデータドメインを前提としていますが、現実のシナリオは、しばしば異種データドメインを伴います。 分散を意識した2段階のプロトタイプをクラスタリングし,新たな$alpha$-sparsityのプロトタイプロスを利用するFedPLVMを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T02:36:16Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Boosting Federated Learning Convergence with Prototype Regularization [46.23872011375391]
  本稿では,クライアント間の異種データ分散に対処するプロトタイプベースの正規化戦略を提案する。 MNISTとFashion-MNISTの実験結果から,提案手法は平均テスト精度が3.3%,8.9%向上したことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T04:35:50Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Cross-domain Federated Object Detection [43.66352018668227]
  フェデレーション学習は、クライアントデータをリークすることなく、多人数の共同学習を可能にする。 我々はFedODというドメイン間フェデレーションオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T03:09:59Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。