論文の概要: Can $5^{\rm th}$ Generation Local Training Methods Support Client Sampling? Yes!

• arxiv url: http://arxiv.org/abs/2212.14370v1
• Date: Thu, 29 Dec 2022 16:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 17:51:13.628620
• Title: Can $5^{\rm th}$ Generation Local Training Methods Support Client Sampling? Yes!
• Title（参考訳）: 5^{\rm th}$ generation local training methods はクライアントサンプリングをサポートできるか? はい!
• Authors: Micha{\l} Grudzie\'n, Grigory Malinovsky, Peter Richt\'arik
• Abstract要約: FedAvgアルゴリズムは、クライアントサンプリング(CS)、データサンプリング(DS)、ローカルトレーニング(LT)の3つのコンポーネントに基づいている。 本稿では,新しいアルゴリズムと理論的基礎に基づく新たなLT手法を提案する。 LTは任意に不均一なデータに対する通信促進を達成できることを示し,このことから,LT手法の5rm th$生成を飛躍的に開始する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The celebrated FedAvg algorithm of McMahan et al. (2017) is based on three components: client sampling (CS), data sampling (DS) and local training (LT). While the first two are reasonably well understood, the third component, whose role is to reduce the number of communication rounds needed to train the model, resisted all attempts at a satisfactory theoretical explanation. Malinovsky et al. (2022) identified four distinct generations of LT methods based on the quality of the provided theoretical communication complexity guarantees. Despite a lot of progress in this area, none of the existing works were able to show that it is theoretically better to employ multiple local gradient-type steps (i.e., to engage in LT) than to rely on a single local gradient-type step only in the important heterogeneous data regime. In a recent breakthrough embodied in their ProxSkip method and its theoretical analysis, Mishchenko et al. (2022) showed that LT indeed leads to provable communication acceleration for arbitrarily heterogeneous data, thus jump-starting the $5^{\rm th}$ generation of LT methods. However, while these latest generation LT methods are compatible with DS, none of them support CS. We resolve this open problem in the affirmative. In order to do so, we had to base our algorithmic development on new algorithmic and theoretical foundations.
• Abstract（参考訳）: McMahanら(2017)の有名なFedAvgアルゴリズムは、クライアントサンプリング(CS)、データサンプリング(DS)、ローカルトレーニング(LT)の3つのコンポーネントに基づいている。 最初の2つは合理的によく理解されているが、モデルの訓練に必要な通信ラウンドの数を削減しようとする第3の構成要素は、十分な理論的説明のために全ての試みに抵抗した。 Malinovskyら (2022) は、提供された理論通信複雑性保証の品質に基づいて、LT法の4つの異なる世代を同定した。 この領域で多くの進歩があったにもかかわらず、既存の研究は、重要な異種データ構造においてのみ単一の局所勾配型ステップに頼るよりも、複数の局所勾配型ステップ(例えば、LTに携わる)を採用する方が理論的に優れていることを示すことはできなかった。 そのproxskip法とその理論的解析で具体化された最近のブレークスルーにおいて、mishchenkoら (2022) は、ltが実際に任意に異種データに対して通信の加速を証明できることを示し、5^{\rm th}$生成のlt法をジャンプスタートさせた。 しかし、これらの最新のLTメソッドはDSと互換性があるが、いずれもCSをサポートしていない。 我々はこのオープンな問題を肯定的に解決する。 そのためには,新たなアルゴリズムと理論的基盤を基盤としたアルゴリズム開発が必要だった。

関連論文リスト

• Randomized Exploration in Cooperative Multi-Agent Reinforcement Learning [15.46907000938726]
  協調型マルチエージェント強化学習(MARL)における確率的ランダム化探索に関する最初の研究について述べる。 並列マルコフ決定過程(MDP)におけるランダム化探索のための統一されたアルゴリズムフレームワークと,2つのトンプソンサンプリング型アルゴリズムであるCoopTS-PHEとCoopTS-LMCを提案する。 提案手法は, 深層探査問題 (textiti.e.$N$-chain) , ビデオゲーム, エネルギーシステムにおける実世界の問題などを含む, 並列RL環境における提案手法の評価を行う。
  論文  参考訳（メタデータ） (2024-04-16T17:01:38Z)
• Efficient Diffusion Policies for Offline Reinforcement Learning [85.73757789282212]
  Diffsuion-QLは、拡散モデルでポリシーを表現することによってオフラインRLの性能を大幅に向上させる。 これら2つの課題を克服するために,効率的な拡散政策(EDP)を提案する。 EDPは、サンプリングチェーンの実行を避けるために、トレーニング中の腐敗したアクションからアクションを構築する。
  論文  参考訳（メタデータ） (2023-05-31T17:55:21Z)
• Revisiting Weighted Strategy for Non-stationary Parametric Bandits [82.1942459195896]
  本稿では,非定常パラメトリックバンディットの重み付け戦略を再考する。 より単純な重みに基づくアルゴリズムを生成する改良された分析フレームワークを提案する。 我々の新しいフレームワークは、他のパラメトリックバンディットの後悔の限界を改善するのに使える。
  論文  参考訳（メタデータ） (2023-03-05T15:11:14Z)
• Random-LTD: Random and Layerwise Token Dropping Brings Efficient Training for Large-scale Transformers [31.021091635737776]
  本稿では,トランスモデルのためのランダムかつ階層的なトークンドロップ手法(ランダムLTD)を提案する。 ランダムLTDは、標準的なトレーニングベースラインと同等のスピードアップと精度を達成する。 この結果から,ランダムLTDは理論計算コストを約33.3%削減し,ウォールクロックのトレーニング時間を25.6%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-11-17T23:14:58Z)
• GradSkip: Communication-Accelerated Local Gradient Methods with Better Computational Complexity [3.222802562733787]
  本研究では,クライアントが通信に先立って複数の局所勾配型訓練を行えるようにすることで,通信コストの低減を目的とした分散最適化アルゴリズムのクラスについて検討する。 我々は、GradSkipという名前が同じ仮定の下で線形に収束する修正法を証明した。
  論文  参考訳（メタデータ） (2022-10-28T20:59:06Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Variance Reduced ProxSkip: Algorithm, Theory and Application to Federated Learning [0.0]
  本研究では,Em Local Training(LT)パラダイムに基づく分散最適化手法について検討する。 提案手法は,最先端の手法であるProxSkipよりも,総合的なトレーニングコストの面ではるかに高速であることを示す。
  論文  参考訳（メタデータ） (2022-07-09T20:59:30Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Multi-Agent Off-Policy TD Learning: Finite-Time Analysis with Near-Optimal Sample Complexity and Communication Complexity [13.100926925535578]
  マルチエージェントオフポリシーTD学習のための2つの分散型TD補正(TDC)アルゴリズムを開発しています。 提案アルゴリズムは,エージェントの行動,ポリシー,報酬の完全なプライバシを保持し,サンプリングのばらつきと通信頻度を低減するためにミニバッチサンプリングを採用する。
  論文  参考訳（メタデータ） (2021-03-24T12:48:08Z)
• Faster Secure Data Mining via Distributed Homomorphic Encryption [108.77460689459247]
  ホモモルフィック暗号化(HE)は、最近、暗号化されたフィールド上で計算を行う能力により、ますます注目を集めている。 本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。 各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-17T18:14:30Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。