論文の概要: MARINA: Faster Non-Convex Distributed Learning with Compression

• arxiv url: http://arxiv.org/abs/2102.07845v1
• Date: Mon, 15 Feb 2021 20:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 14:52:17.170813
• Title: MARINA: Faster Non-Convex Distributed Learning with Compression
• Title（参考訳）: MARINA:圧縮による非凸分散学習の高速化
• Authors: Eduard Gorbunov, Konstantin Burlachenko, Zhize Li, Peter Richt\'arik
• Abstract要約: 異種データセット上での非分散学習のための新しいコミュニケーション効率向上手法であるMARINAを開発し解析する。 polyak-lojasiewicz条件を満たす問題に対する全ての方法の解析を行う。
• 参考スコア（独自算出の注目度）: 12.99941371793082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop and analyze MARINA: a new communication efficient method for non-convex distributed learning over heterogeneous datasets. MARINA employs a novel communication compression strategy based on the compression of gradient differences which is reminiscent of but different from the strategy employed in the DIANA method of Mishchenko et al (2019). Unlike virtually all competing distributed first-order methods, including DIANA, ours is based on a carefully designed biased gradient estimator, which is the key to its superior theoretical and practical performance. To the best of our knowledge, the communication complexity bounds we prove for MARINA are strictly superior to those of all previous first order methods. Further, we develop and analyze two variants of MARINA: VR-MARINA and PP-MARINA. The first method is designed for the case when the local loss functions owned by clients are either of a finite sum or of an expectation form, and the second method allows for partial participation of clients -- a feature important in federated learning. All our methods are superior to previous state-of-the-art methods in terms of the oracle/communication complexity. Finally, we provide convergence analysis of all methods for problems satisfying the Polyak-Lojasiewicz condition.
• Abstract（参考訳）: 異種データセット上での非凸分散学習のための通信効率の高い新しい手法であるMARINAを開発し解析する。 MARINAは、Mishchenko et al(2019)のDIANA法で採用された戦略と似ているが異なる勾配差の圧縮に基づいて、新しい通信圧縮戦略を採用しています。 ほぼ全ての競合する分散一階法(DIANAを含む)とは異なり、我々は慎重に設計された偏り勾配推定器をベースとしている。 我々の知る限り、私たちがMARINAで証明した通信複雑性境界は、以前の一階法よりも厳格に優れている。 さらに,VR-MARINAとPP-MARINAの2種類を開発・分析する。 第1の方法は、クライアントが所有するローカル損失関数が有限和または期待形式のいずれかの場合のために設計され、第2の方法は、連合学習において重要な特徴であるクライアントの部分的参加を可能にする。 全ての手法は, オラクル/コミュニケーションの複雑さの観点から, 従来の最先端手法よりも優れている。 最後に,polyak-lojasiewicz条件を満たす問題に対する全手法の収束解析を行う。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning [48.072207894076556]
  デバイス間のトレーニングは、クライアントの数が何十億にも達する、学習のサブフィールドです。 標準アプローチとローカルメソッドは、デバイス間の類似性と同じくらい重要な問題になりがちである。 当社の手法は,同種のデータを持つクライアントの客観的かつ実証的なメリットを必要としない,この種の最初の手法である。
  論文  参考訳（メタデータ） (2024-05-30T15:07:30Z)
• Ensembling Prioritized Hybrid Policies for Multi-agent Pathfinding [18.06081009550052]
  MARL(Multi-Agent Reinforcement Learning)をベースとしたMAPF(Multi-Agent Path Finding)が最近注目されている。 いくつかのMARL-MAPFメソッドは、あるエージェントが知覚できる情報を豊かにするためにコミュニケーションを使用する。 優先度付きハイブリッドポリシ(EPH)を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T11:47:12Z)
• Communication Compression for Byzantine Robust Learning: New Efficient Algorithms and Improved Rates [9.965047642855074]
  ビザンチンの堅牢性は、特定の分散最適化問題に対するアルゴリズムの重要な特徴である。 収束率を向上した新しいビザンチンロバスト圧縮法を提案する。 また,通信圧縮誤差フィードバックを用いたByzantine-robust法を開発した。
  論文  参考訳（メタデータ） (2023-10-15T11:22:34Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• DASHA: Distributed Nonconvex Optimization with Communication Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
  我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。 MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
  論文  参考訳（メタデータ） (2022-02-02T20:10:40Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• Reinforcement Learning for Variable Selection in a Branch and Bound Algorithm [0.10499611180329801]
  現実世界のインスタンスのパターンを活用して、与えられた問題に最適化された新しいブランチ戦略をスクラッチから学習します。 本稿では,この課題に特化して設計された新しい強化学習手法であるFMSTSを提案する。
  論文  参考訳（メタデータ） (2020-05-20T13:15:48Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。