論文の概要: Communication-efficient Byzantine-robust distributed learning with
statistical guarantee
- arxiv url: http://arxiv.org/abs/2103.00373v1
- Date: Sun, 28 Feb 2021 01:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:00:00.070842
- Title: Communication-efficient Byzantine-robust distributed learning with
statistical guarantee
- Title(参考訳): 統計的保証付きコミュニケーション効率の高いビザンチン・ロバスト分散学習
- Authors: Xingcai Zhou, Le Chang, Pengfei Xu and Shaogao Lv
- Abstract要約: コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。
本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。
- 参考スコア(独自算出の注目度): 2.8407238889624877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication efficiency and robustness are two major issues in modern
distributed learning framework. This is due to the practical situations where
some computing nodes may have limited communication power or may behave
adversarial behaviors. To address the two issues simultaneously, this paper
develops two communication-efficient and robust distributed learning algorithms
for convex problems. Our motivation is based on surrogate likelihood framework
and the median and trimmed mean operations. Particularly, the proposed
algorithms are provably robust against Byzantine failures, and also achieve
optimal statistical rates for strong convex losses and convex (non-smooth)
penalties. For typical statistical models such as generalized linear models,
our results show that statistical errors dominate optimization errors in finite
iterations. Simulated and real data experiments are conducted to demonstrate
the numerical performance of our algorithms.
- Abstract(参考訳): コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。
これは、一部の計算ノードが通信能力に制限がある場合や、敵対的な振る舞いをする場合の現実的な状況によるものである。
この2つの問題を同時に解決するために,本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。
我々のモチベーションは、確率フレームワークと中央値とトリミング平均演算に基づいている。
特に,提案手法はビザンチンの故障に対して頑健であり,かつ,強い凸損失と凸(非スムース)ペナルティに対する最適統計率を達成している。
一般化線形モデルのような典型的な統計モデルでは、統計的誤差が有限反復の最適化誤差を支配していることを示す。
シミュレーションおよび実データ実験を行い,アルゴリズムの数値性能を実証した。
関連論文リスト
- Asymptotically Efficient Online Learning for Censored Regression Models
Under Non-I.I.D Data [2.2446129622980227]
検閲された回帰モデルに対して,効率的なオンライン学習問題について検討した。
文献における既存の関連アルゴリズムよりも提案したオンラインアルゴリズムの方が優れていることを示す数値的な例を示す。
論文 参考訳(メタデータ) (2023-09-18T03:28:48Z) - Online Distributed Learning over Random Networks [1.119697400073873]
本研究は, 実運用による課題として, (i) オンライン学習, (i) ローカルデータの時間的変化, (ii) 非同期エージェントの計算, (iii) 信頼性の低い限られた通信, (iv) ローカルの計算を不正確に行うことに焦点を当てる。
マルチプライヤの交互方向法(ADMM)の分散演算子理論(DOT)版を紹介する。
我々は,凸学習の問題に収束することが証明された。
論文 参考訳(メタデータ) (2023-09-01T15:18:05Z) - Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。
また,学習過程におけるコストを考慮したアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-18T15:14:16Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - A Constraint-Based Algorithm for the Structural Learning of
Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。
我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文 参考訳(メタデータ) (2020-07-07T07:34:09Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z) - Statistically Guided Divide-and-Conquer for Sparse Factorization of
Large Matrix [2.345015036605934]
統計的問題をスパース係数回帰として定式化し、分割コンカレントアプローチでそれに取り組む。
第1段階分割では、タスクを1組の同時並列推定(CURE)問題に単純化するための2つの潜時並列アプローチについて検討する。
第2段階分割では、CUREの全解を効率的に追跡するために、一連の単純な増分経路からなる段階学習手法を革新する。
論文 参考訳(メタデータ) (2020-03-17T19:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。