論文の概要: Hogwild! over Distributed Local Data Sets with Linearly Increasing
Mini-Batch Sizes
- arxiv url: http://arxiv.org/abs/2010.14763v2
- Date: Sat, 27 Feb 2021 03:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 11:49:51.029619
- Title: Hogwild! over Distributed Local Data Sets with Linearly Increasing
Mini-Batch Sizes
- Title（参考訳）: hogwild! ミニバッチサイズを線形に増加させた分散ローカルデータセット
- Authors: Marten van Dijk, Nhuong V. Nguyen, Toan N. Nguyen, Lam M. Nguyen, Quoc
Tran-Dinh and Phuong Ha Nguyen
- Abstract要約: Hogwild!は非同期のGradient Descentを実装し、複数のスレッドが並列に、トレーニングデータを含む共通のリポジトリにアクセスする。
通信コストを削減するため,ローカルな計算ノードがより小さなミニバッチサイズを選択し始める方法を示す。
- 参考スコア（独自算出の注目度）: 26.9902939745173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hogwild! implements asynchronous Stochastic Gradient Descent (SGD) where
multiple threads in parallel access a common repository containing training
data, perform SGD iterations and update shared state that represents a jointly
learned (global) model. We consider big data analysis where training data is
distributed among local data sets in a heterogeneous way -- and we wish to move
SGD computations to local compute nodes where local data resides. The results
of these local SGD computations are aggregated by a central "aggregator" which
mimics Hogwild!. We show how local compute nodes can start choosing small
mini-batch sizes which increase to larger ones in order to reduce communication
cost (round interaction with the aggregator). We improve state-of-the-art
literature and show $O(\sqrt{K}$) communication rounds for heterogeneous data
for strongly convex problems, where $K$ is the total number of gradient
computations across all local compute nodes. For our scheme, we prove a
\textit{tight} and novel non-trivial convergence analysis for strongly convex
problems for {\em heterogeneous} data which does not use the bounded gradient
assumption as seen in many existing publications. The tightness is a
consequence of our proofs for lower and upper bounds of the convergence rate,
which show a constant factor difference. We show experimental results for plain
convex and non-convex problems for biased (i.e., heterogeneous) and unbiased
local data sets.
- Abstract（参考訳）: Hogwild!は非同期のSGD(Stochastic Gradient Descent)を実装しており、複数のスレッドが並列アクセスし、トレーニングデータを含む共通のリポジトリにアクセスし、SGDイテレーションを実行し、共同学習(グローバル)モデルを表す共有状態を更新する。
私たちは、トレーニングデータが異種な方法でローカルデータセットに分散されるビッグデータ分析を検討し、sgd計算をローカルデータが存在するローカル計算ノードに移行したいと考えています。
これらのローカルsgd計算結果は、hogwildを模倣した中央の"アグリゲータ"によって集約されます!
.
ローカルな計算ノードが、通信コスト(アグリゲータとのインタラクション全体)を減らすために、より大きいものへと増加する小さなミニバッチサイズを選択し始める方法を示す。
我々は最先端の文献を改善し,局所計算ノード全体の勾配計算の総数を$k$とする強凸問題に対する異種データに対する$o(\sqrt{k}$)通信ラウンドを示す。
このスキームについて、既存の多くの出版物に見られるような有界勾配の仮定を用いない「em不均一」データに対する強凸問題に対して、 \textit{tight} と新しい非自明な収束解析を証明した。
厳密性は収束率の下限と上限の証明の結果であり、これは定数係数差を示す。
偏り(異種)および偏りのない局所データセットに対する平凸および非凸問題の実験的結果を示す。
関連論文リスト
- Locally Regularized Sparse Graph by Fast Proximal Gradient Descent [6.882546996728011]
本稿では,SRSG を短縮した新しい正規化スパースグラフを提案する。
スパースグラフは高次元データのクラスタリングに有効であることが示されている。
SRSGは他のクラスタリング手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-09-25T16:57:47Z) - Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。
多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
論文 参考訳（メタデータ） (2024-09-08T13:08:45Z) - FedGT: Federated Node Classification with Scalable Graph Transformer [27.50698154862779]
本稿では,スケーラブルな textbfFederated textbfGraph textbfTransformer (textbfFedGT) を提案する。
FedGTは、最適なトランスポートで整列したグローバルノードに基づいて、クライアントの類似性を計算する。
論文 参考訳（メタデータ） (2024-01-26T21:02:36Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - A Communication-efficient Algorithm with Linear Convergence for
Federated Minimax Learning [1.713291434132985]
GAN(Geneimation Adversarial Networks)をモデル化した大規模マルチエージェントミニマックス最適化問題について検討する。
全体的な目的は、エージェントのプライベートなローカルな目的関数の総和である。
我々は,FedGDA-GTが,大域的な$epsilon GDA解に一定のステップサイズで線形収束することを示した。
論文 参考訳（メタデータ） (2022-06-02T16:31:16Z) - Federated Minimax Optimization: Improved Convergence Analyses and
Algorithms [32.062312674333775]
我々は、最小限の最適化を考慮し、GANのようなモダンな機械学習アプリケーションの多くを普及させています。
我々は,既存の文献における収束通信の保証を改善する,新しい,より厳密な解析アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-09T16:21:31Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Faster Convergence of Local SGD for Over-Parameterized Models [1.5504102675587357]
現代の機械学習アーキテクチャは、しばしば非常に表現力が高い。
不均一なデータ設定における過パラメータ化関数に対する局所SGD(またはFedAvg)の収束を解析する。
一般凸損失関数に対しては、$O(K/T)$の誤差が成立する。
非剰余関数に対しては、どちらの場合も$O(K/T)$の誤差が証明される。
確立された収束率を、合理的に小さなステップサイズで一定の要因に密着した問題インスタンスを提供することで、結果を完成させる。
論文 参考訳（メタデータ） (2022-01-30T04:05:56Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Computationally efficient sparse clustering [67.95910835079825]
我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。
ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
論文 参考訳（メタデータ） (2020-05-21T17:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。