論文の概要: Making Byzantine Decentralized Learning Efficient

• arxiv url: http://arxiv.org/abs/2209.10931v1
• Date: Thu, 22 Sep 2022 11:26:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:45:49.003239
• Title: Making Byzantine Decentralized Learning Efficient
• Title（参考訳）: ビザンチン分散学習の効率化
• Authors: Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, L\^e Nguy\^en Hoang, Rafael Pinot, John Stephan
• Abstract要約: 本稿では,D-SGDの計算効率を損なうことなく,ビザンチンのレジリエンスを確保する新アルゴリズムを提案する。 ニューアルゴリサムは、EmphPolyakの運動量を用いた局所的な更新のばらつきを減少させる また,複数の画像分類タスクの実験を通じて,新たなアルゴリズムの有効性を示す。
• 参考スコア（独自算出の注目度）: 7.250306457887471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized-SGD (D-SGD) distributes heavy learning tasks across multiple machines (a.k.a., {\em nodes}), effectively dividing the workload per node by the size of the system. However, a handful of \emph{Byzantine} (i.e., misbehaving) nodes can jeopardize the entire learning procedure. This vulnerability is further amplified when the system is \emph{asynchronous}. Although approaches that confer Byzantine resilience to D-SGD have been proposed, these significantly impact the efficiency of the process to the point of even negating the benefit of decentralization. This naturally raises the question: \emph{can decentralized learning simultaneously enjoy Byzantine resilience and reduced workload per node?} We answer positively by proposing \newalgorithm{} that ensures Byzantine resilience without losing the computational efficiency of D-SGD. Essentially, \newalgorithm{} weakens the impact of Byzantine nodes by reducing the variance in local updates using \emph{Polyak's momentum}. Then, by establishing coordination between nodes via {\em signed echo broadcast} and a {\em nearest-neighbor averaging} scheme, we effectively tolerate Byzantine nodes whilst distributing the overhead amongst the non-Byzantine nodes. To demonstrate the correctness of our algorithm, we introduce and analyze a novel {\em Lyapunov function} that accounts for the {\em non-Markovian model drift} arising from the use of momentum. We also demonstrate the efficiency of \newalgorithm{} through experiments on several image classification tasks.
• Abstract（参考訳）: 分散sgd(d-sgd)は重学習タスクを複数のマシン(つまりノード)に分散し、ノード毎のワークロードをシステムのサイズで効果的に分割する。 しかし、一握りの \emph{byzantine} ノード(つまり、誤った振る舞い)が学習手順全体を危うくすることができる。 この脆弱性は、システムが \emph{asynchronous} であるときにさらに増幅される。 ビザンチンのレジリエンスをD-SGDに導くアプローチが提案されているが、これは分散化の利点を否定する点までプロセスの効率に大きな影響を及ぼす。 emph{can decentralized learningは、Byzantineのレジリエンスとノード毎のワークロード削減を同時に享受しますか? そこで我々は,D-SGDの計算効率を損なうことなく,ビザンチンのレジリエンスを確実にする「newalgorithm{}」を提案する。 本質的に、 \newalgorithm{} は \emph{polyak's momentum} を用いて局所更新のばらつきを減少させることでビザンチンノードの影響を弱める。 次に、"em signed echo broadcast} と "em closest-neighbor averaging} スキームによってノード間の協調を確立することにより、ビザンチンノード間のオーバーヘッドを分散しながら、ビザンチンノードを効果的に許容する。 本アルゴリズムの正確性を示すために,運動量を用いて生じる非マルコフモデルドリフトを考慮に入れた,新しい関数 {\em lyapunov {\displaystyle {\em lyapunov}} を導入し,解析する。 また,複数の画像分類タスクにおける実験を通して,newalgorithm{}の有効性を示す。

関連論文リスト

• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。 UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。 提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• chemtrain: Learning Deep Potential Models via Automatic Differentiation and Statistical Physics [0.0]
  ニューラルネットワーク(NN)は分子動力学の精度を改善するための有望なモデルである。 Chemtrainは、カスタマイズ可能なトレーニングルーチンと高度なトレーニングアルゴリズムを通じて、洗練されたNNポテンシャルモデルを学ぶためのフレームワークである。
  論文  参考訳（メタデータ） (2024-08-28T15:14:58Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Compressive MR Fingerprinting reconstruction with Neural Proximal Gradient iterations [27.259916894535404]
  ProxNetは学習した近位勾配降下フレームワークで、前方取得とBloch動的モデルを反復学習機構に組み込む。 我々の数値実験により、ProxNetはより優れた定量的推測精度、はるかに少ないストレージ要求、そして最近のディープラーニングMRFベースラインに匹敵するランタイムを実現することができることが示された。
  論文  参考訳（メタデータ） (2020-06-27T03:52:22Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。