論文の概要: SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex
Optimization
- arxiv url: http://arxiv.org/abs/2304.04169v1
- Date: Sun, 9 Apr 2023 06:10:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 17:21:06.987987
- Title: SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex
Optimization
- Title(参考訳): SLowcal-SGD: 局所SGDの改善による確率凸最適化
- Authors: Kfir Y. Levy
- Abstract要約: 我々は,2つの主要な分散ベースラインであるMinibatch-SGDとLocal-SGDに対して有益であることを示す,最初のローカル更新手法を設計する。
このアプローチの鍵となるのは、分散設定をカスタマイズする遅いクエリ技術です。
- 参考スコア(独自算出の注目度): 12.709177728330399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider distributed learning scenarios where M machines interact with a
parameter server along several communication rounds in order to minimize a
joint objective function. Focusing on the heterogeneous case, where different
machines may draw samples from different data-distributions, we design the
first local update method that provably benefits over the two most prominent
distributed baselines: namely Minibatch-SGD and Local-SGD. Key to our approach
is a slow querying technique that we customize to the distributed setting,
which in turn enables a better mitigation of the bias caused by local updates.
- Abstract(参考訳): 我々は,Mマシンが複数の通信ラウンドに沿ってパラメータサーバと対話する分散学習シナリオを考察し,協調目的関数の最小化を図る。
異なるマシンが異なるデータ配信からサンプルを抽出できる異種ケースに着目し、最も顕著な分散ベースラインであるMinibatch-SGDとLocal-SGDに対して確実に利益をもたらす最初のローカル更新手法を設計する。
私たちのアプローチの鍵となるのは、分散設定にカスタマイズした、遅いクエリテクニックです。
関連論文リスト
- Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot
Learning [15.828113109152069]
Support-Query Shift Few-shot Learningは、低次元空間に埋め込まれた学習結果に基づいて、未確認例(クエリセット)をラベル付きデータ(サポートセット)に分類することを目的としている。
本稿では,現実的なサポートクエリシフト (Realistic Support-Query Shift) という,新しい難題を提案する。
さらに,DuaL(dual adversarial alignment framework)と呼ばれる一貫した対角的特徴アライメント手法を提案し,RSQSをドメイン間バイアスとドメイン内分散の2つの側面から緩和する。
論文 参考訳(メタデータ) (2023-09-05T09:50:31Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-02-12T15:12:17Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal
Sample and Communication Complexities for Federated Learning [58.6792963686231]
フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。
WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。
局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
論文 参考訳(メタデータ) (2021-06-19T06:13:45Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Local SGD: Unified Theory and New Efficient Methods [8.701566919381223]
本稿では,局所的なSGD手法を凸型および強凸型で解析するための統一的なフレームワークを提案する。
我々は,データ均一性や他の強い仮定を必要としない,線形収束型局所SGD法を開発した。
論文 参考訳(メタデータ) (2020-11-03T13:02:50Z) - Minibatch vs Local SGD for Heterogeneous Distributed Learning [28.80878557506603]
この環境では、Minibatch SGDがLocal SGDの既存の分析を全て支配していると論じる。
非均一な状態下で, ミニバッチSGDよりも改善された局所SGDの第一上界を示す。
論文 参考訳(メタデータ) (2020-06-08T16:40:49Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳(メタデータ) (2020-03-23T17:49:15Z) - Robust Federated Learning Through Representation Matching and Adaptive
Hyper-parameters [5.319361976450981]
フェデレーション学習(Federated Learning)は、複数のクライアントに属するデータに対して単一のモデルをトレーニングする、分散されたプライバシ対応の学習シナリオである。
現在のフェデレーション学習手法は、異種クライアント側データ分散に苦慮している。
本稿では,局所モデルのばらつきを低減する表現マッチング手法を提案する。
論文 参考訳(メタデータ) (2019-12-30T20:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。