論文の概要: Near-Optimal Resilient Aggregation Rules for Distributed Learning Using
1-Center and 1-Mean Clustering with Outliers
- arxiv url: http://arxiv.org/abs/2312.12835v1
- Date: Wed, 20 Dec 2023 08:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 16:28:28.867438
- Title: Near-Optimal Resilient Aggregation Rules for Distributed Learning Using
1-Center and 1-Mean Clustering with Outliers
- Title（参考訳）: 1中心クラスタリングと1平均クラスタリングを用いた分散学習のための準最適レジリエントアグリゲーションルール
- Authors: Yuhao Yi, Ronghui You, Hong Liu, Changxin Liu, Yuan Wang, Jiancheng Lv
- Abstract要約: ビザンティンの機械学習は、予測不可能な欠陥によってかなりの注目を集めている。
分散学習におけるマシンのセキュア化の鍵は、レジリエントな集約メカニズムである。
- 参考スコア（独自算出の注目度）: 26.363521367281706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byzantine machine learning has garnered considerable attention in light of
the unpredictable faults that can occur in large-scale distributed learning
systems. The key to secure resilience against Byzantine machines in distributed
learning is resilient aggregation mechanisms. Although abundant resilient
aggregation rules have been proposed, they are designed in ad-hoc manners,
imposing extra barriers on comparing, analyzing, and improving the rules across
performance criteria. This paper studies near-optimal aggregation rules using
clustering in the presence of outliers. Our outlier-robust clustering approach
utilizes geometric properties of the update vectors provided by workers. Our
analysis show that constant approximations to the 1-center and 1-mean
clustering problems with outliers provide near-optimal resilient aggregators
for metric-based criteria, which have been proven to be crucial in the
homogeneous and heterogeneous cases respectively. In addition, we discuss two
contradicting types of attacks under which no single aggregation rule is
guaranteed to improve upon the naive average. Based on the discussion, we
propose a two-phase resilient aggregation framework. We run experiments for
image classification using a non-convex loss function. The proposed algorithms
outperform previously known aggregation rules by a large margin with both
homogeneous and heterogeneous data distributions among non-faulty workers. Code
and appendix are available at https://github.com/jerry907/AAAI24-RASHB.
- Abstract（参考訳）: ビザンチン機械学習は、大規模分散学習システムで発生する予測不能な障害に照らして、かなりの注目を集めている。
分散学習におけるビザンチンマシンに対するレジリエンスを確保する鍵は、レジリエントアグリゲーションメカニズムである。
豊富なレジリエントアグリゲーションルールが提案されているが、パフォーマンス基準間のルールの比較、分析、改善に余分な障壁を課すアドホックな方法で設計されている。
本稿では,外乱の存在下でのクラスタリングを用いた準最適アグリゲーション規則について検討する。
outlier-robustクラスタリングアプローチでは,workersが提供する更新ベクトルの幾何学的性質を利用する。
分析の結果,1中心と1平均のクラスタリング問題に対する不均一な近似は,それぞれ同種および不均一なケースにおいて重要であることが判明した。
さらに,単一のアグリゲーションルールがナイーブ平均値で改善されることが保証されない2つの相反する攻撃について考察する。
そこで本研究では,二相弾性凝集フレームワークを提案する。
非凸損失関数を用いた画像分類実験を行った。
提案アルゴリズムは, 既知のアグリゲーション規則を, 非フォウティ作業者間での同質データ分布と異質データ分布で大差で上回っている。
コードと付録はhttps://github.com/jerry907/AAAI24-RASHBで入手できる。
関連論文リスト
- Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T08:59:51Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - A provable initialization and robust clustering method for general mixture models [6.806940901668607]
クラスタリングは、異種データの存在下での統計機械学習の基本的なツールである。
最新の結果は、ガウス以下の誤差を伴うセントロイドの周りにデータが分散されている場合に、最適なラベルの誤りを保証することに焦点が当てられている。
論文 参考訳（メタデータ） (2024-01-10T22:56:44Z) - Robust and Automatic Data Clustering: Dirichlet Process meets
Median-of-Means [18.3248037914529]
本稿では,モデルに基づく手法とセントロイド方式の原理を統合することにより,効率的かつ自動的なクラスタリング手法を提案する。
クラスタリング誤差の上限に関する統計的保証は,既存のクラスタリングアルゴリズムよりも提案手法の利点を示唆している。
論文 参考訳（メタデータ） (2023-11-26T19:01:15Z) - Robust Consensus Clustering and its Applications for Advertising
Forecasting [18.242055675730253]
我々は,専門家の意見に共通する根拠となる真実を見出すことのできる,ロバストなコンセンサスクラスタリングという新しいアルゴリズムを提案する。
提案手法を実世界の広告キャンペーンセグメンテーションと予測タスクに適用する。
論文 参考訳（メタデータ） (2022-12-27T21:49:04Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - Hybrid Dynamic Contrast and Probability Distillation for Unsupervised
Person Re-Id [109.1730454118532]
非監督的人物再識別(Re-Id)は、リードワールドビデオ監視システムにおける実践的応用により注目されている。
本稿では,ハイブリッド動的クラスタコントラストと確率蒸留アルゴリズムを提案する。
教師なしRe-Id問題を局所-言語的ダイナミックコントラスト学習と自己教師付き確率蒸留の枠組みに統合する。
論文 参考訳（メタデータ） (2021-09-29T02:56:45Z) - Correlation Clustering Reconstruction in Semi-Adversarial Models [70.11015369368272]
相関クラスタリングは多くのアプリケーションにおいて重要なクラスタリング問題である。
本研究では,ランダムノイズや対向的な修正によって崩壊した潜伏クラスタリングを再構築しようとする,この問題の再構築版について検討する。
論文 参考訳（メタデータ） (2021-08-10T14:46:17Z) - Deep Clustering based Fair Outlier Detection [19.601280507914325]
本稿では,統合深層クラスタリングと外乱検出を強化するために,インスタンスレベルの重み付き表現学習戦略を提案する。
我々のDCFOD法は, 異常検出において, 異常検出の妥当性と2種類のフェアネス概念の両面において, 常に優れた性能を達成している。
論文 参考訳（メタデータ） (2021-06-09T15:12:26Z) - Robust M-Estimation Based Bayesian Cluster Enumeration for Real
Elliptically Symmetric Distributions [5.137336092866906]
データセットにおける最適なクラスタ数のロバストな決定は、広範囲のアプリケーションにおいて必須の要素である。
本稿では任意のReally Symmetric(RES)分散混合モデルで使用できるように一般化する。
サンプルサイズが有限であるデータセットに対して,ロバストな基準を導出するとともに,大規模なサンプルサイズでの計算コスト削減のための近似を提供する。
論文 参考訳（メタデータ） (2020-05-04T11:44:49Z) - Clustering Binary Data by Application of Combinatorial Optimization
Heuristics [52.77024349608834]
本稿では,2値データのクラスタリング手法について検討し,まず,クラスタのコンパクトさを計測するアグリゲーション基準を定義した。
近隣地域と人口動態最適化メタヒューリスティックスを用いた5つの新しいオリジナル手法が導入された。
準モンテカルロ実験によって生成された16のデータテーブルから、L1の相似性と階層的クラスタリング、k-means(メドイドやPAM)の1つのアグリゲーションの比較を行う。
論文 参考訳（メタデータ） (2020-01-06T23:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。