論文の概要: Local SGD in Overparameterized Linear Regression
- arxiv url: http://arxiv.org/abs/2210.11562v1
- Date: Thu, 20 Oct 2022 19:58:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 13:49:46.111996
- Title: Local SGD in Overparameterized Linear Regression
- Title(参考訳): 過パラメータ線形回帰における局所SGD
- Authors: Mike Nguyen, Charly Kirst, and Nicole M\"ucke
- Abstract要約: 本稿では,複数のデバイス上でのステップサイズSGD(Constant Stepize SGD)を用いた分散学習について考察する。
局所ノードの数が大きすぎると, 過大なリスクはばらつきの順であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We consider distributed learning using constant stepsize SGD (DSGD) over
several devices, each sending a final model update to a central server. In a
final step, the local estimates are aggregated. We prove in the setting of
overparameterized linear regression general upper bounds with matching lower
bounds and derive learning rates for specific data generating distributions. We
show that the excess risk is of order of the variance provided the number of
local nodes grows not too large with the global sample size. We further compare
the sample complexity of DSGD with the sample complexity of distributed ridge
regression (DRR) and show that the excess SGD-risk is smaller than the excess
RR-risk, where both sample complexities are of the same order.
- Abstract(参考訳): 本稿では,複数のデバイス上でのステップサイズSGD(Constant Stepize SGD)を用いた分散学習について考察する。
最後のステップでは、局所的な見積もりが集約されます。
パラメータ化された線形回帰一般上界と、一致した下界と、特定のデータ生成分布に対する学習率を設定できる。
局所ノード数が大きすぎると大きすぎるので,過大なリスクはばらつきの順序であることを示した。
さらに, dsgd のサンプル複雑性と分散リッジ回帰 (drr) のサンプル複雑性を比較し, sgd-risk が rr-risk よりも小さいことを示した。
関連論文リスト
- Policy Evaluation in Distributional LQR [70.63903506291383]
ランダムリターンの分布を閉形式で表現する。
この分布は有限個の確率変数で近似できることを示す。
近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-23T20:27:40Z) - Transfer Learning In Differential Privacy's Hybrid-Model [10.584333748643774]
本研究では,キュレーターデータセット内のn個の個人を異なる分布から抽出するハイブリッドモデルにおいて,機械学習の問題点について検討する。
この移行学習問題に対する一般的なスキーム -- Subsample-Test-Reweigh -- を与えます。
論文 参考訳(メタデータ) (2022-01-28T09:54:54Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - GANs with Variational Entropy Regularizers: Applications in Mitigating
the Mode-Collapse Issue [95.23775347605923]
深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。
GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。
情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
論文 参考訳(メタデータ) (2020-09-24T19:34:37Z) - Global Distance-distributions Separation for Unsupervised Person
Re-identification [93.39253443415392]
既存の教師なしのReIDアプローチは、距離ベースのマッチング/ランク付けを通じて正のサンプルと負のサンプルを正しく識別するのに失敗することが多い。
本研究では,2つの分布に対する大域的距離分布分離の制約を導入し,大域的視点から正と負のサンプルを明確に分離することを奨励する。
本研究では,本手法がベースラインを大幅に改善し,最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2020-06-01T07:05:39Z) - Generalization Error for Linear Regression under Distributed Learning [0.0]
未知のノードがノードネットワーク上に分散されている設定について検討する。
本稿では,ノード上の未知のノードの分割に対する一般化誤差の依存性の解析的特徴について述べる。
論文 参考訳(メタデータ) (2020-04-30T08:49:46Z) - A Unified Theory of Decentralized SGD with Changing Topology and Local
Updates [70.9701218475002]
分散通信方式の統一収束解析を導入する。
いくつかの応用に対して普遍収束率を導出する。
私たちの証明は弱い仮定に依存している。
論文 参考訳(メタデータ) (2020-03-23T17:49:15Z) - Information Directed Sampling for Linear Partial Monitoring [112.05623123909895]
線形報酬と観測構造を持つ部分的監視のための情報指向サンプリング(IDS)を導入する。
IDSは、ゲームの正確な可観測性条件に依存する適応的な最悪の後悔率を達成する。
結果がコンテキストおよびカーネル化設定にまで拡張され、アプリケーションの範囲が大幅に増加する。
論文 参考訳(メタデータ) (2020-02-25T21:30:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。