論文の概要: Federated Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2004.11231v3
• Date: Mon, 14 Jun 2021 23:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 09:11:15.696682
• Title: Federated Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 連関確率勾配ランジュバンダイナミクス
• Authors: Khaoula El Mekkaoui, Diego Mesquita, Paul Blomstedt, Samuel Kaski
• Abstract要約: 勾配ランゲヴィン力学(SGLD)のような勾配MCMC法は、大規模後方サンプリングを可能にするために高速だがノイズの多い勾配推定を用いる。 本稿では,局所確率近似を組み合わせ,勾配の修正を行う単純なメカニズムである導出勾配を提案する。 DSGLDが故障した場合に,本手法は遅延通信ラウンドを処理し,ターゲット後方に収束することを示す。
• 参考スコア（独自算出の注目度）: 12.180900849847252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient MCMC methods, such as stochastic gradient Langevin dynamics (SGLD), employ fast but noisy gradient estimates to enable large-scale posterior sampling. Although we can easily extend SGLD to distributed settings, it suffers from two issues when applied to federated non-IID data. First, the variance of these estimates increases significantly. Second, delaying communication causes the Markov chains to diverge from the true posterior even for very simple models. To alleviate both these problems, we propose conducive gradients, a simple mechanism that combines local likelihood approximations to correct gradient updates. Notably, conducive gradients are easy to compute, and since we only calculate the approximations once, they incur negligible overhead. We apply conducive gradients to distributed stochastic gradient Langevin dynamics (DSGLD) and call the resulting method federated stochastic gradient Langevin dynamics (FSGLD). We demonstrate that our approach can handle delayed communication rounds, converging to the target posterior in cases where DSGLD fails. We also show that FSGLD outperforms DSGLD for non-IID federated data with experiments on metric learning and neural networks.
• Abstract（参考訳）: 確率勾配Langevin dynamics (SGLD) のような確率勾配MCMC法は、大規模後方サンプリングを可能にするために高速だがノイズの多い勾配推定を用いる。 SGLDを分散設定に簡単に拡張できるが、フェデレーションされた非IIDデータに適用した場合に2つの問題がある。 まず、これらの推定値のばらつきが著しく増加する。 第二に、遅延通信はマルコフ連鎖を非常に単純なモデルであっても真の後部から分岐させる。 これらの問題を緩和するために,局所的帰納近似と補正勾配更新を組み合わせた簡易なメカニズムである畳み込み勾配を提案する。 特に、導出勾配は計算が容易であり、近似を一度だけ計算するので、それらは無視できないオーバーヘッドを引き起こす。 本研究では,分散確率勾配Langevin dynamics (DSGLD) に導出的勾配を適用し,その結果のフェデレート確率勾配Langevin dynamics (FSGLD) と呼ぶ。 DSGLDが故障した場合に,本手法は遅延通信ラウンドを処理し,ターゲット後方に収束することを示す。 また、FSGLDは、非IIDフェデレーションデータに対して、計量学習とニューラルネットワークの実験により、DSGLDよりも優れていることを示す。

関連論文リスト

• Emergence of heavy tails in homogenized stochastic gradient descent [1.450405446885067]
  勾配降下(SGD)による損失は、重み付きネットワークパラメータをもたらす。 我々はSGDの連続拡散近似をホモジェナイズド勾配降下(homogenized gradient descent)と呼ぶ解析を行った。 最適化パラメータとテールインデックス間の相互作用を定量化する。
  論文  参考訳（メタデータ） (2024-02-02T13:06:33Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks [22.823904789355495]
  本研究では, 平均流体力学系とサード・アンド・ソルラのセミナルアプローチの関連について検討する。 我々の研究は、統計物理学から高次元の速度を決定論的に記述することに基づいている。
  論文  参考訳（メタデータ） (2022-02-01T09:45:07Z)
• Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks [30.467121747150816]
  本稿では,ニューラルネットワークの深部で一般的に発生する,いわゆる消滅勾配現象を再考する。 ネットワーク幅が O(depth) 未満のスケールでは, 消失勾配を回避できないことを示す。
  論文  参考訳（メタデータ） (2021-06-07T16:29:59Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent [28.148743710421932]
  ミニバッチ勾配勾配(SGD)アルゴリズムは機械学習モデルのトレーニングに広く用いられている。 線形回帰および2層線形ネットワーク下でのSGDダイナミクスについて検討し,より深い線形ネットワークへの拡張を容易にする。
  論文  参考訳（メタデータ） (2020-04-27T20:06:11Z)
• LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning [47.93365664380274]
  本稿では,フェデレーション学習などの分散機械学習問題を,コミュニケーション効率のよい方法で解くことを目的とする。 新しい勾配勾配勾配法 (SGD) のクラスが開発され、最近開発された遅延集約勾配法 (LAG) の一般化と見なすことができる。 LASGの重要なコンポーネントは、ダウンロード、アップロード、あるいは両方を保存できるグラデーション用に調整された新しいルールのセットである。
  論文  参考訳（メタデータ） (2020-02-26T08:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。