論文の概要: Variance Reduced Median-of-Means Estimator for Byzantine-Robust
Distributed Inference
- arxiv url: http://arxiv.org/abs/2103.02860v1
- Date: Thu, 4 Mar 2021 06:50:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 19:30:26.560434
- Title: Variance Reduced Median-of-Means Estimator for Byzantine-Robust
Distributed Inference
- Title（参考訳）: ビザンチン-ロバスト分散推論のための分散減調平均推定器
- Authors: Jiyuan Tu, Weidong Liu, Xiaojun Mao, and Xi Chen
- Abstract要約: 本稿では、ビザンチンノードの適度な割合に対して堅牢な効率的な分散推論アルゴリズムを開発する。
私たちの知る限りでは、これはByzantine-robust分散学習の設定における最初の正常性の結果です。
- 参考スコア（独自算出の注目度）: 9.983824799552774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper develops an efficient distributed inference algorithm, which is
robust against a moderate fraction of Byzantine nodes, namely arbitrary and
possibly adversarial machines in a distributed learning system. In robust
statistics, the median-of-means (MOM) has been a popular approach to hedge
against Byzantine failures due to its ease of implementation and computational
efficiency. However, the MOM estimator has the shortcoming in terms of
statistical efficiency. The first main contribution of the paper is to propose
a variance reduced median-of-means (VRMOM) estimator, which improves the
statistical efficiency over the vanilla MOM estimator and is computationally as
efficient as the MOM. Based on the proposed VRMOM estimator, we develop a
general distributed inference algorithm that is robust against Byzantine
failures. Theoretically, our distributed algorithm achieves a fast convergence
rate with only a constant number of rounds of communications. We also provide
the asymptotic normality result for the purpose of statistical inference. To
the best of our knowledge, this is the first normality result in the setting of
Byzantine-robust distributed learning. The simulation results are also
presented to illustrate the effectiveness of our method.
- Abstract（参考訳）: 本論文では,Byzantineノードの適度な分数に対して堅牢な分散推論アルゴリズム,すなわち分散学習システムにおける任意かつ潜在的に逆転するマシンを開発する。
堅牢な統計では、中央平均(MOM)は、実装の容易さと計算効率のためにビザンチンの失敗に対してヘッジする一般的なアプローチでした。
しかし、MOM推定器は統計効率の面で欠点があります。
この論文の最初の主な貢献は、バニラMOM推定器の統計効率を向上し、MOMと同等の計算効率を持つ分散還元平均(VRMOM)推定器を提案することである。
提案したVRMOM推定器に基づいて,ビザンチンの故障に対して頑健な一般分散推論アルゴリズムを開発した。
理論上,分散アルゴリズムは一定数の通信ラウンド数しか持たない高速収束率を達成している。
また,統計的推測を目的とした漸近正規化結果も提供する。
私たちの知る限りでは、これはByzantine-robust分散学習の設定における最初の正常性の結果です。
また,本手法の有効性を示すためにシミュレーション結果も提示した。
関連論文リスト
- Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances [2.317910166616341]
統計的推測では、標本は独立であり、確率分布から同一に分布していると一般的に仮定する。
本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。
論文 参考訳（メタデータ） (2024-10-28T05:50:47Z) - Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。
本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文 参考訳（メタデータ） (2024-10-21T15:34:44Z) - Scalable Bayesian inference for the generalized linear mixed model [2.45365913654612]
本稿では,AIとベイズ推論の交点に統計的推論アルゴリズムを導入する。
我々のアルゴリズムは、相関データの処理に対処する新しい貢献を伴う勾配MCMCの拡張である。
我々はこのアルゴリズムを大規模な電子健康記録データベースに適用する。
論文 参考訳（メタデータ） (2024-03-05T14:35:34Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - MFABA: A More Faithful and Accelerated Boundary-based Attribution Method
for Deep Neural Networks [69.28125286491502]
我々は,公理に固執する帰属アルゴリズムであるMFABAを紹介する。
結果は、最先端の属性アルゴリズムよりも101.5142倍高速に達成することで、その優位性を証明している。
論文 参考訳（メタデータ） (2023-12-21T07:48:15Z) - Distributed Semi-Supervised Sparse Statistical Inference [6.685997976921953]
縮退推定器は高次元モデルパラメータの統計的推測において重要なツールである。
従来の手法では、すべてのマシンで偏りのある推定器を計算する必要がある。
ラベル付きデータと非ラベル付きデータを統合した効率的なマルチラウンド分散脱バイアス推定器を開発した。
論文 参考訳（メタデータ） (2023-06-17T17:30:43Z) - Fast and Robust Sparsity Learning over Networks: A Decentralized
Surrogate Median Regression Approach [10.850336820582678]
本稿では、分散化空間学習問題を効率的に解くために、分散化代理中央回帰法(deSMR)を提案する。
提案アルゴリズムは,簡単な実装で線形収束率を満足する。
また,スパース・サポート・リカバリの理論的結果も確立した。
論文 参考訳（メタデータ） (2022-02-11T08:16:01Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Communication-efficient Byzantine-robust distributed learning with
statistical guarantee [2.8407238889624877]
コミュニケーション効率と堅牢性は、現代の分散学習フレームワークにおける2つの大きな問題である。
本論文では,凸問題に対するコミュニケーション効率とロバストな分散学習アルゴリズムを2つ開発する。
論文 参考訳（メタデータ） (2021-02-28T01:38:37Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳（メタデータ） (2020-12-04T15:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。