Fugu-MT 論文翻訳(概要): Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data

論文の概要: Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data

arxiv url: http://arxiv.org/abs/2009.06557v2
Date: Tue, 22 Dec 2020 01:29:59 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 11:40:37.013637
Title: Effective Federated Adaptive Gradient Methods with Non-IID Decentralized Data
Title（参考訳）: 非IID分散データを用いた効果的なFederated Adaptive Gradient法
Authors: Qianqian Tong, Guannan Liang and Jinbo Bi
Abstract要約: フェデレーション学習は、デバイスがデータ共有なしで協調的にモデルを学習することを可能にする。本稿では,第1次および第2次カリブレータを併用したフェデレートAGMを提案する。我々は、標準のAdam byepsilonを含む、連邦学習の校正スキームを比較した。
参考スコア（独自算出の注目度）: 18.678289386084113
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning allows loads of edge computing devices to collaboratively learn a global model without data sharing. The analysis with partial device participation under non-IID and unbalanced data reflects more reality. In this work, we propose federated learning versions of adaptive gradient methods - Federated AGMs - which employ both the first-order and second-order momenta, to alleviate generalization performance deterioration caused by dissimilarity of data population among devices. To further improve the test performance, we compare several schemes of calibration for the adaptive learning rate, including the standard Adam calibrated by $\epsilon$, $p$-Adam, and one calibrated by an activation function. Our analysis provides the first set of theoretical results that the proposed (calibrated) Federated AGMs converge to a first-order stationary point under non-IID and unbalanced data settings for nonconvex optimization. We perform extensive experiments to compare these federated learning methods with the state-of-the-art FedAvg, FedMomentum and SCAFFOLD and to assess the different calibration schemes and the advantages of AGMs over the current federated learning methods.
Abstract（参考訳）: フェデレートされた学習により、エッジコンピューティングデバイスの負荷が、データ共有なしでグローバルモデルを協調的に学習することが可能になる。非IIDおよびアンバランスデータに基づく部分的デバイス参加の分析は、より現実を反映している。本研究では,デバイス間のデータ集団の相違による一般化性能劣化を軽減するために,第1次と第2次の両方のモータを用いた適応勾配手法のフェデレーション学習版を提案する。テスト性能をさらに向上させるために,アダプティブ・ラーニング・レートのキャリブレーションについて,$\epsilon$,$p$-adamでキャリブレーションされた標準adamや,アクティベーション関数でキャリブレーションされた標準adamなど,いくつかの手法を比較した。提案手法は,非iidおよび非平衡データ設定下で一階定常点に収束し,非凸最適化を行うという理論的な結果の第一セットを提供する。本研究では,これらのフェデレート学習法と最新のフェデレート学習法,フェデレート学習法,足場を比較し,現在のフェデレート学習法と比較して,異なるキャリブレーション方式とagmsの利点を評価した。

関連論文リスト

Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文参考訳（メタデータ） (2024-10-07T23:14:05Z)
Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
論文参考訳（メタデータ） (2024-09-01T13:14:41Z)
A Comparative Evaluation of FedAvg and Per-FedAvg Algorithms for Dirichlet Distributed Heterogeneous Data [2.5507252967536522]
我々は、生データを共有せずにデバイス上で分散モデルトレーニングを可能にする機械学習のパラダイムであるフェデレートラーニング(FL)について検討する。フェデレート平均化(FedAvg)とパーフェデレーション平均化(Per-FedAvg)の2つの戦略を比較した。この結果は、分散環境でのより効率的かつ効率的な機械学習戦略の開発に関する洞察を提供する。
論文参考訳（メタデータ） (2023-09-03T21:33:15Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
Federated Compositional Deep AUC Maximization [58.25078060952361]
本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
論文参考訳（メタデータ） (2023-04-20T05:49:41Z)
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data [0.261072980439312]
非汎用目的に対する収束保証を提供するU.MP,D-MP,GT-Dという統一パラダイムを提案する。理論的には、これらの非MPアルゴリズムに対して収束解析目的を2つのアプローチで提供する。
論文参考訳（メタデータ） (2023-03-01T02:13:22Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。上記の2つの課題を同時に解決するための一般的な枠組みを提案する。我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文参考訳（メタデータ） (2022-04-16T08:08:29Z)
Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
論文参考訳（メタデータ） (2022-02-10T05:08:50Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Adaptive Federated Optimization [43.78438670284309]
フェデレートラーニングでは、多数のクライアントが中央サーバとコーディネートして、自身のデータを共有せずにモデルを学習する。適応最適化手法は、このような問題に対処する際、顕著な成功を収めている。適応型学習は,フェデレート学習の性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2020-02-29T16:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。