論文の概要: Byzantine-tolerant distributed learning of finite mixture models

• arxiv url: http://arxiv.org/abs/2407.13980v2
• Date: Mon, 10 Mar 2025 17:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 16:15:11.288937
• Title: Byzantine-tolerant distributed learning of finite mixture models
• Title（参考訳）: 有限混合モデルのビザンチン-耐性分散学習
• Authors: Qiong Zhang, Yan Shuo Tan, Jiahua Chen,
• Abstract要約: 本稿では、DFMR(Distance Filtered Mixture Reduction)を提案する。 DFMR(DFMR)は、Byzantine Tolerant adaptation of Mixture Reduction (MR)であり、計算効率が良く統計的に聞こえる。 我々はDFMRの理論的正当性を示し、その最適収束率と大域的最大推定値との等価性を証明した。
• 参考スコア（独自算出の注目度）: 16.60734923697257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional statistical methods need to be updated to work with modern distributed data storage paradigms. A common approach is the split-and-conquer framework, which involves learning models on local machines and averaging their parameter estimates. However, this does not work for the important problem of learning finite mixture models, because subpopulation indices on each local machine may be arbitrarily permuted (the "label switching problem"). Zhang and Chen (2022) proposed Mixture Reduction (MR) to address this issue, but MR remains vulnerable to Byzantine failure, whereby a fraction of local machines may transmit arbitrarily erroneous information. This paper introduces Distance Filtered Mixture Reduction (DFMR), a Byzantine tolerant adaptation of MR that is both computationally efficient and statistically sound. DFMR leverages the densities of local estimates to construct a robust filtering mechanism. By analysing the pairwise L2 distances between local estimates, DFMR identifies and removes severely corrupted local estimates while retaining the majority of uncorrupted ones. We provide theoretical justification for DFMR, proving its optimal convergence rate and asymptotic equivalence to the global maximum likelihood estimate under standard assumptions. Numerical experiments on simulated and real-world data validate the effectiveness of DFMR in achieving robust and accurate aggregation in the presence of Byzantine failure.
• Abstract（参考訳）: 従来の統計手法は、現代の分散データストレージパラダイムを扱うために更新する必要がある。 一般的なアプローチは、ローカルマシン上でモデルを学習し、パラメータの見積もりを平均化する、分割・参照フレームワークである。 しかし、これは有限混合モデルの学習において重要な問題にはならない、なぜなら各ローカルマシン上のサブポピュレーション指標は任意に置換される(「ラベルスイッチング問題」)からである。 Zhang と Chen (2022) はこの問題に対処するために Mixture Reduction (MR) を提案したが、MR はビザンチンの故障に弱いままであり、少数のローカルマシンが任意に誤った情報を送信できる。 本稿では,Byzantine Tolerant Adaptance of MR (Distance Filtered Mixture Reduction, DFMR)を提案する。 DFMRは局所的な推定値の密度を利用してロバストなフィルタリング機構を構築する。 DFMRは、局所推定間のペアワイズL2距離を解析することにより、ひどい局所推定を特定・除去し、非破壊推定の大多数を維持できる。 我々はDFMRの理論的正当性を提供し、その最適収束率と、標準仮定の下での大域的最大推定値に対する漸近的同値性を証明した。 シミュレーションおよび実世界のデータに関する数値実験は、ビザンティンの故障の有無で頑健で正確な凝集を達成する上で、DFMRの有効性を検証する。

関連論文リスト

• A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation [9.68824512279232]
  相互情報(MI)は、変数間の依存関係をキャプチャするための重要な手段である。 正規化を組み込むためにディリクレ過程後部の有限表現でMI損失を構成することでMI推定器を訓練するソリューションを提案する。 データ空間と変分オートエンコーダの潜時空間の間のMIを最大化するための推定器の適用について検討する。
  論文  参考訳（メタデータ） (2025-03-11T21:27:48Z)
• Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error [10.266928164137635]
  アルゴリズムによる頑健な統計は伝統的に、サンプルのごく一部が任意に破損する汚染モデルに焦点を当ててきた。 最近の汚染モデルでは, (i) 古典的ロバスト統計のように, 任意の外れ値のごく一部と (ii) 局所摂動, (ii) サンプルが平均的に有界シフトを行うことのできる2種類の汚染モデルを考える。 理論上最適誤差は, 偶発的局所摂動モデルの下で, 時間内に得られることを示す。
  論文  参考訳（メタデータ） (2024-10-22T17:51:23Z)
• Kolmogorov-Smirnov GAN [52.36633001046723]
  我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。 既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
  論文  参考訳（メタデータ） (2024-06-28T14:30:14Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Interval Abstractions for Robust Counterfactual Explanations [15.954944873701503]
  対実的説明(CE)は、説明可能なAI研究における主要なパラダイムとして現れている。 既存のメソッドは、生成したモデルのパラメータにわずかな変更が発生すると、しばしば無効になる。 本稿では,機械学習モデルのための新しいインターバル抽象化手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T18:24:34Z)
• Robust Estimation of the Tail Index of a Single Parameter Pareto Distribution from Grouped Data [0.0]
  本稿では,新しいロバストな推定手法MTuMを提案する。 MTuMの推論正当性は、中心極限定理を用いて、包括的なシミュレーション研究を通じて検証することによって確立される。
  論文  参考訳（メタデータ） (2024-01-26T01:42:06Z)
• Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap [21.50616436951285]
  本稿では,悪質なビザンツ人攻撃に効果的に取り組むことのできる,連邦学習(FL)のためのロバストな集約手法を提案する。 各ユーザでは、モデルのパラメータを複数のステップで更新し、イテレーションで調整可能となり、アグリゲーションセンターに直接プッシュする。
  論文  参考訳（メタデータ） (2023-08-21T02:43:38Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• Scalable Dynamic Mixture Model with Full Covariance for Probabilistic Traffic Forecasting [14.951166842027819]
  時間変化誤差過程に対するゼロ平均ガウス分布の動的混合を提案する。 提案手法は,学習すべきパラメータを数つ追加するだけで,既存のディープラーニングフレームワークにシームレスに統合することができる。 提案手法を交通速度予測タスク上で評価し,提案手法がモデル水平線を改良するだけでなく,解釈可能な時間相関構造も提供することを発見した。
  論文  参考訳（メタデータ） (2022-12-10T22:50:00Z)
• Security-Preserving Federated Learning via Byzantine-Sensitive Triplet Distance [10.658882342481542]
  フェデレートラーニング(FL)は一般的に、敵のエッジデバイスからのビザンチン攻撃に対して脆弱である。 そこで我々は, ダミーコントラストアグリゲーションという, 効果的なビザンチン・ロバストFLフレームワークを提案する。 最新技術であるビザンチン-レジリエントアグリゲーション法と比較して,性能が向上した。
  論文  参考訳（メタデータ） (2022-10-29T07:20:02Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Bayesian Evidential Learning for Few-Shot Classification [22.46281648187903]
  Few-Shot 分類は、非常に限定されたラベル付きサンプルをベースクラスから新しいクラスに一般化することを目的としている。 最先端のソリューションは、サンプル間の距離を計算するための良い計量と表現空間を見つけることを含む。 有望な精度性能にもかかわらず、計量ベースのFSC手法の不確実性を効果的にモデル化する方法は依然として課題である。
  論文  参考訳（メタデータ） (2022-07-19T03:58:00Z)
• End-to-End Multi-Object Detection with a Regularized Mixture Model [26.19278003378703]
  近年のエンド・ツー・エンド多目的検出器は手作りのプロセスを取り除き、推論パイプラインを単純化している。 本稿では,NLL(負対数類似度)と正規化項(正則化項)の2項のみからなるエンドツーエンドの多対象検出器を訓練するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-18T04:20:23Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
  我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。 この結果は、異なるデータセットの実験によって確認される。
  論文  参考訳（メタデータ） (2022-02-02T18:19:04Z)
• Entropy Minimizing Matrix Factorization [102.26446204624885]
  NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。 本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。 通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
  論文  参考訳（メタデータ） (2021-03-24T21:08:43Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。