論文の概要: Towards More Efficient Federated Learning with Better Optimization Objects

• arxiv url: http://arxiv.org/abs/2108.08577v1
• Date: Thu, 19 Aug 2021 09:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 14:39:57.141523
• Title: Towards More Efficient Federated Learning with Better Optimization Objects
• Title（参考訳）: より良い最適化オブジェクトによるより効率的なフェデレーション学習を目指して
• Authors: Zirui Zhu, Ziyi Ye
• Abstract要約: Federated Learning(FL)は、プライバシ保護された機械学習パラダイムであり、データをアップロードすることなく、モデルを直接エッジでトレーニングすることができる。 FLが実用的に直面している最大の課題の1つは、エッジノードデータの均一性であり、収束速度を遅くし、モデルの性能を低下させる。 本稿では,過去に得られた全てのモデルのアグリゲーションを新たな制約対象として利用して,そのようなアルゴリズムの性能をさらに向上することを提案する。
• 参考スコア（独自算出の注目度）: 1.126965032229697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a privacy-protected machine learning paradigm that allows model to be trained directly at the edge without uploading data. One of the biggest challenges faced by FL in practical applications is the heterogeneity of edge node data, which will slow down the convergence speed and degrade the performance of the model. For the above problems, a representative solution is to add additional constraints in the local training, such as FedProx, FedCurv and FedCL. However, the above algorithms still have room for improvement. We propose to use the aggregation of all models obtained in the past as new constraint target to further improve the performance of such algorithms. Experiments in various settings demonstrate that our method significantly improves the convergence speed and performance of the model.
• Abstract（参考訳）: Federated Learning(FL)は、プライバシ保護された機械学習パラダイムであり、データをアップロードすることなく、モデルを直接エッジでトレーニングすることができる。 実用的な応用においてflが直面する最大の課題の1つは、エッジノードデータの多様性であり、収束速度を遅くし、モデルの性能を低下させる。 上記の問題に対して、代表的な解決策は、FedProx、FedCurv、FedCLといったローカルトレーニングに制約を追加することである。 しかし、上記のアルゴリズムには改善の余地がある。 我々は,過去に得られたすべてのモデルの集約を新たな制約対象として利用し,それらのアルゴリズムの性能をさらに向上させる手法を提案する。 各種設定実験により,本手法はモデルの収束速度と性能を著しく向上することを示した。

関連論文リスト

• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Gradient Sparsification for Efficient Wireless Federated Learning with Differential Privacy [25.763777765222358]
  フェデレートラーニング(FL)により、分散クライアントは、生データを互いに共有することなく、機械学習モデルを協調的にトレーニングできる。 モデルのサイズが大きくなるにつれて、送信帯域の制限によるトレーニングのレイテンシが低下し、個人情報が劣化すると同時に、差分プライバシ(DP)保護を使用する。 我々は、収束性能を犠牲にすることなく、トレーニング効率を向上させるために、FLフレームワーク無線チャネルのスペース化を提案する。
  論文  参考訳（メタデータ） (2023-04-09T05:21:15Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Accelerating Federated Edge Learning via Topology Optimization [41.830942005165625]
  フェデレートエッジラーニング(FEEL)は、プライバシー保護の分散ラーニングを実現するための有望なパラダイムとして考えられている。 ストラグラー装置の存在により、過度の学習時間を消費する。 フェデレーション学習における不均一性問題に対処するために,新しいトポロジ最適化フェデレーション・エッジ・ラーニング(TOFEL)手法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:49:55Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。