論文の概要: Robust Collaborative Learning with Linear Gradient Overhead
- arxiv url: http://arxiv.org/abs/2209.10931v2
- Date: Sat, 3 Jun 2023 08:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 04:43:16.140262
- Title: Robust Collaborative Learning with Linear Gradient Overhead
- Title（参考訳）: 線形勾配オーバーヘッドによるロバストな協調学習
- Authors: Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, L\^e Nguy\^en
Hoang, Rafael Pinot, John Stephan
- Abstract要約: 分散SGD(あるいはD-SGD)のような協調学習アルゴリズムは、故障する機械の傾向が強い。
我々は、標準仮定の下で確実に堅牢な新しいアルゴリズムであるMoNNAを提案する。
運動量とモデルドリフトの間の張力を制御する方法を提案する。
- 参考スコア（独自算出の注目度）: 7.250306457887471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative learning algorithms, such as distributed SGD (or D-SGD), are
prone to faulty machines that may deviate from their prescribed algorithm
because of software or hardware bugs, poisoned data or malicious behaviors.
While many solutions have been proposed to enhance the robustness of D-SGD to
such machines, previous works either resort to strong assumptions (trusted
server, homogeneous data, specific noise model) or impose a gradient
computational cost that is several orders of magnitude higher than that of
D-SGD. We present MoNNA, a new algorithm that (a) is provably robust under
standard assumptions and (b) has a gradient computation overhead that is linear
in the fraction of faulty machines, which is conjectured to be tight.
Essentially, MoNNA uses Polyak's momentum of local gradients for local updates
and nearest-neighbor averaging (NNA) for global mixing, respectively. While
MoNNA is rather simple to implement, its analysis has been more challenging and
relies on two key elements that may be of independent interest. Specifically,
we introduce the mixing criterion of $(\alpha, \lambda)$-reduction to analyze
the non-linear mixing of non-faulty machines, and present a way to control the
tension between the momentum and the model drifts. We validate our theory by
experiments on image classification and make our code available at
https://github.com/LPD-EPFL/robust-collaborative-learning.
- Abstract（参考訳）: 分散sgd(またはd-sgd)のような協調学習アルゴリズムは、ソフトウェアやハードウェアのバグ、有害なデータ、悪意のある行動などにより、所定のアルゴリズムから逸脱する可能性のある欠陥のあるマシンに対処しがちである。
このようなマシンへのd-sgdのロバスト性を高めるために多くの解決策が提案されているが、以前の研究は強い仮定(信頼されたサーバ、均質データ、特定のノイズモデル)や、d-sgdよりも数桁高い勾配計算コストを課している。
我々は,新しいアルゴリズムMoNNAを提案する。
(a)標準仮定の下で確実に頑健であること、及び
(b) 故障マシンの分数で線形な勾配計算オーバーヘッドがあり、これは厳密であると推測される。
基本的に、MoNNAは局所的な更新にはPolyakの局所勾配の運動量を使い、グローバルな混合にはNNAを使用する。
MoNNAの実装は比較的簡単だが、その分析はより困難であり、独立した関心を持つ可能性のある2つの重要な要素に依存している。
具体的には、非線形機械の非線形混合を解析するために、$(\alpha, \lambda)$-reductionの混合基準を導入し、運動量とモデルドリフトの間の張力を制御する方法を提案する。
画像分類実験によりこの理論を検証し, https://github.com/LPD-EPFL/robust-collaborative-learningでコードを利用できるようにした。
関連論文リスト
- Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - chemtrain: Learning Deep Potential Models via Automatic Differentiation and Statistical Physics [0.0]
ニューラルネットワーク(NN)は分子動力学の精度を改善するための有望なモデルである。
Chemtrainは、カスタマイズ可能なトレーニングルーチンと高度なトレーニングアルゴリズムを通じて、洗練されたNNポテンシャルモデルを学ぶためのフレームワークである。
論文 参考訳（メタデータ） (2024-08-28T15:14:58Z) - Interfacing Finite Elements with Deep Neural Operators for Fast
Multiscale Modeling of Mechanics Problems [4.280301926296439]
本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。
DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。
精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-25T20:46:08Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Fast Distributionally Robust Learning with Variance Reduced Min-Max
Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。
Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。
我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-04-27T16:56:09Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Compressive MR Fingerprinting reconstruction with Neural Proximal
Gradient iterations [27.259916894535404]
ProxNetは学習した近位勾配降下フレームワークで、前方取得とBloch動的モデルを反復学習機構に組み込む。
我々の数値実験により、ProxNetはより優れた定量的推測精度、はるかに少ないストレージ要求、そして最近のディープラーニングMRFベースラインに匹敵するランタイムを実現することができることが示された。
論文 参考訳（メタデータ） (2020-06-27T03:52:22Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。