論文の概要: Communication-efficient Byzantine-robust distributed learning with statistical guarantee

• arxiv url: http://arxiv.org/abs/2103.00373v1
• Date: Sun, 28 Feb 2021 01:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 17:00:00.070842
• Title: Communication-efficient Byzantine-robust distributed learning with statistical guarantee
• Title（参考訳）: 統計的保証付きコミュニケーション効率の高いビザンチン・ロバスト分散学習
• Authors: Xingcai Zhou, Le Chang, Pengfei Xu and Shaogao Lv
• Abstract要約: コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。 本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。
• 参考スコア（独自算出の注目度）: 2.8407238889624877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Communication efficiency and robustness are two major issues in modern distributed learning framework. This is due to the practical situations where some computing nodes may have limited communication power or may behave adversarial behaviors. To address the two issues simultaneously, this paper develops two communication-efficient and robust distributed learning algorithms for convex problems. Our motivation is based on surrogate likelihood framework and the median and trimmed mean operations. Particularly, the proposed algorithms are provably robust against Byzantine failures, and also achieve optimal statistical rates for strong convex losses and convex (non-smooth) penalties. For typical statistical models such as generalized linear models, our results show that statistical errors dominate optimization errors in finite iterations. Simulated and real data experiments are conducted to demonstrate the numerical performance of our algorithms.
• Abstract（参考訳）: コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。 これは、一部の計算ノードが通信能力に制限がある場合や、敵対的な振る舞いをする場合の現実的な状況によるものである。 この2つの問題を同時に解決するために,本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。 我々のモチベーションは、確率フレームワークと中央値とトリミング平均演算に基づいている。 特に,提案手法はビザンチンの故障に対して頑健であり,かつ,強い凸損失と凸(非スムース)ペナルティに対する最適統計率を達成している。 一般化線形モデルのような典型的な統計モデルでは、統計的誤差が有限反復の最適化誤差を支配していることを示す。 シミュレーションおよび実データ実験を行い,アルゴリズムの数値性能を実証した。

関連論文リスト

• Trustworthy Evaluation of Generative AI Models [6.653749938600871]
  本研究では, 相対的性能差の非バイアス推定器を用いて, 2つの生成モデルを比較する手法を提案する。 提案手法は効率が高く,並列計算と事前保存中間結果により高速化できる。 統計的信頼度のある実画像データセット上での拡散モデルの評価において,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2025-01-31T05:31:05Z)
• Asymptotically Efficient Online Learning for Censored Regression Models Under Non-I.I.D Data [2.2446129622980227]
  検閲された回帰モデルに対して,効率的なオンライン学習問題について検討した。 文献における既存の関連アルゴリズムよりも提案したオンラインアルゴリズムの方が優れていることを示す数値的な例を示す。
  論文  参考訳（メタデータ） (2023-09-18T03:28:48Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Slicing Unbalanced Optimal Transport [13.679363125262599]
  最適輸送は確率測度を比較するための強力なフレームワークである。 スライスされた非平衡OTの2つの異なるバージョンを定式化し、関連するトポロジと統計的性質について検討する。 次に、対応する損失関数を計算するためのGPUフレンドリーなFrank-Wolfeのようなアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-06-12T15:15:00Z)
• Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
  重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。 また,学習過程におけるコストを考慮したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-18T15:14:16Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks [70.88503833248159]
  連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。 我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
  論文  参考訳（メタデータ） (2020-07-07T07:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。