論文の概要: Byzantine-tolerant distributed learning of finite mixture models
- arxiv url: http://arxiv.org/abs/2407.13980v2
- Date: Mon, 10 Mar 2025 17:31:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:40:06.377474
- Title: Byzantine-tolerant distributed learning of finite mixture models
- Title（参考訳）: 有限混合モデルのビザンチン-耐性分散学習
- Authors: Qiong Zhang, Yan Shuo Tan, Jiahua Chen,
- Abstract要約: 本稿では、DFMR(Distance Filtered Mixture Reduction)を提案する。
DFMR(DFMR)は、Byzantine Tolerant adaptation of Mixture Reduction (MR)であり、計算効率が良く統計的に聞こえる。
我々はDFMRの理論的正当性を示し、その最適収束率と大域的最大推定値との等価性を証明した。
- 参考スコア（独自算出の注目度）: 16.60734923697257
- License:
- Abstract: Traditional statistical methods need to be updated to work with modern distributed data storage paradigms. A common approach is the split-and-conquer framework, which involves learning models on local machines and averaging their parameter estimates. However, this does not work for the important problem of learning finite mixture models, because subpopulation indices on each local machine may be arbitrarily permuted (the "label switching problem"). Zhang and Chen (2022) proposed Mixture Reduction (MR) to address this issue, but MR remains vulnerable to Byzantine failure, whereby a fraction of local machines may transmit arbitrarily erroneous information. This paper introduces Distance Filtered Mixture Reduction (DFMR), a Byzantine tolerant adaptation of MR that is both computationally efficient and statistically sound. DFMR leverages the densities of local estimates to construct a robust filtering mechanism. By analysing the pairwise L2 distances between local estimates, DFMR identifies and removes severely corrupted local estimates while retaining the majority of uncorrupted ones. We provide theoretical justification for DFMR, proving its optimal convergence rate and asymptotic equivalence to the global maximum likelihood estimate under standard assumptions. Numerical experiments on simulated and real-world data validate the effectiveness of DFMR in achieving robust and accurate aggregation in the presence of Byzantine failure.
- Abstract（参考訳）: 従来の統計手法は、現代の分散データストレージパラダイムを扱うために更新する必要がある。
一般的なアプローチは、ローカルマシン上でモデルを学習し、パラメータの見積もりを平均化する、分割・参照フレームワークである。
しかし、これは有限混合モデルの学習において重要な問題にはならない、なぜなら各ローカルマシン上のサブポピュレーション指標は任意に置換される(「ラベルスイッチング問題」)からである。
Zhang と Chen (2022) はこの問題に対処するために Mixture Reduction (MR) を提案したが、MR はビザンチンの故障に弱いままであり、少数のローカルマシンが任意に誤った情報を送信できる。
本稿では,Byzantine Tolerant Adaptance of MR (Distance Filtered Mixture Reduction, DFMR)を提案する。
DFMRは局所的な推定値の密度を利用してロバストなフィルタリング機構を構築する。
DFMRは、局所推定間のペアワイズL2距離を解析することにより、ひどい局所推定を特定・除去し、非破壊推定の大多数を維持できる。
我々はDFMRの理論的正当性を提供し、その最適収束率と、標準仮定の下での大域的最大推定値に対する漸近的同値性を証明した。
シミュレーションおよび実世界のデータに関する数値実験は、ビザンティンの故障の有無で頑健で正確な凝集を達成する上で、DFMRの有効性を検証する。
関連論文リスト
- Kolmogorov-Smirnov GAN [52.36633001046723]
我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。
既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
論文 参考訳（メタデータ） (2024-06-28T14:30:14Z) - Interval Abstractions for Robust Counterfactual Explanations [15.954944873701503]
対実的説明(CE)は、説明可能なAI研究における主要なパラダイムとして現れている。
既存のメソッドは、生成したモデルのパラメータにわずかな変更が発生すると、しばしば無効になる。
本稿では,機械学習モデルのための新しいインターバル抽象化手法を提案する。
論文 参考訳（メタデータ） (2024-04-21T18:24:34Z) - Federated Learning Robust to Byzantine Attacks: Achieving Zero
Optimality Gap [21.50616436951285]
本稿では,悪質なビザンツ人攻撃に効果的に取り組むことのできる,連邦学習(FL)のためのロバストな集約手法を提案する。
各ユーザでは、モデルのパラメータを複数のステップで更新し、イテレーションで調整可能となり、アグリゲーションセンターに直接プッシュする。
論文 参考訳（メタデータ） (2023-08-21T02:43:38Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳（メタデータ） (2023-01-30T04:07:59Z) - Security-Preserving Federated Learning via Byzantine-Sensitive Triplet
Distance [10.658882342481542]
フェデレートラーニング(FL)は一般的に、敵のエッジデバイスからのビザンチン攻撃に対して脆弱である。
そこで我々は, ダミーコントラストアグリゲーションという, 効果的なビザンチン・ロバストFLフレームワークを提案する。
最新技術であるビザンチン-レジリエントアグリゲーション法と比較して,性能が向上した。
論文 参考訳（メタデータ） (2022-10-29T07:20:02Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - Bayesian Evidential Learning for Few-Shot Classification [22.46281648187903]
Few-Shot 分類は、非常に限定されたラベル付きサンプルをベースクラスから新しいクラスに一般化することを目的としている。
最先端のソリューションは、サンプル間の距離を計算するための良い計量と表現空間を見つけることを含む。
有望な精度性能にもかかわらず、計量ベースのFSC手法の不確実性を効果的にモデル化する方法は依然として課題である。
論文 参考訳（メタデータ） (2022-07-19T03:58:00Z) - Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。
この結果は、異なるデータセットの実験によって確認される。
論文 参考訳（メタデータ） (2022-02-02T18:19:04Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。