論文の概要: Byzantine-Resilient Federated PCA and Low Rank Matrix Recovery
- arxiv url: http://arxiv.org/abs/2309.14512v1
- Date: Mon, 25 Sep 2023 20:21:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 15:57:50.812658
- Title: Byzantine-Resilient Federated PCA and Low Rank Matrix Recovery
- Title(参考訳): ビザンチン系耐食性PCAと低ランクマトリックス回収
- Authors: Ankit Pratap Singh and Namrata Vaswani
- Abstract要約: 本稿では, ビザンチン耐性, 通信効率, プライベートなアルゴリズムSubspace-Medianを提案する。
弾力的な部分空間推定メタプロブレムの2つの特別な事例を考察する。
- 参考スコア(独自算出の注目度): 20.370944501500762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work we consider the problem of estimating the principal subspace
(span of the top r singular vectors) of a symmetric matrix in a federated
setting, when each node has access to estimates of this matrix. We study how to
make this problem Byzantine resilient. We introduce a novel provably
Byzantine-resilient, communication-efficient, and private algorithm, called
Subspace-Median, to solve it. We also study the most natural solution for this
problem, a geometric median based modification of the federated power method,
and explain why it is not useful. We consider two special cases of the
resilient subspace estimation meta-problem - federated principal components
analysis (PCA) and the spectral initialization step of horizontally federated
low rank column-wise sensing (LRCCS) in this work. For both these problems we
show how Subspace Median provides a resilient solution that is also
communication-efficient. Median of Means extensions are developed for both
problems. Extensive simulation experiments are used to corroborate our
theoretical guarantees. Our second contribution is a complete AltGDmin based
algorithm for Byzantine-resilient horizontally federated LRCCS and guarantees
for it. We do this by developing a geometric median of means estimator for
aggregating the partial gradients computed at each node, and using Subspace
Median for initialization.
- Abstract(参考訳): 本研究では、各ノードがこの行列の推定にアクセスできるとき、対称行列の主部分空間(トップ r 特異ベクトルのスパン)をフェデレートした設定で推定する問題を考察する。
我々はこの問題をビザンツのレジリエントにする方法を研究する。
本稿では,バイザンチン耐性,通信効率,プライベートなアルゴリズムであるSubspace-Medianを提案する。
また, この問題に対する最も自然な解, 幾何的中央値に基づくフェデレーションパワー法の修正について検討し, 有用でない理由を説明する。
本研究では, 弾力的部分空間推定メタプロブレム結合主成分分析(PCA)と, 水平結合型ローランクカラムワイズセンシング(LRCCS)のスペクトル初期化ステップの2つの特殊事例について考察する。
これら2つの問題に対して、Subspace Medianは、通信効率も高いレジリエントなソリューションを提供しています。
両方の問題に対してMeansの拡張が開発された。
大規模なシミュレーション実験は、我々の理論的保証を裏付けるために用いられる。
第2の貢献は、ビザンチン系弾力性並列化RCCSのための完全なAltGDminベースのアルゴリズムであり、その保証である。
我々は,各ノードで計算された偏勾配を集約する平均推定器の幾何学的中央値を開発し,初期化にSubspace Medianを使用する。
関連論文リスト
- Decentralized Sum-of-Nonconvex Optimization [42.04181488477227]
我々は、平均的な非合意数である保証関数(sum-of-non function)の最適化問題を考察する。
本稿では,勾配,速度追跡,マルチコンセンサスといった手法を用いて,高速化された分散化1次アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-04T05:48:45Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳(メタデータ) (2023-12-28T02:52:54Z) - Semi-Supervised Laplacian Learning on Stiefel Manifolds [67.29074577550405]
我々は、ララシアグラフの非プラサート一般化の枠組みを改革する。
低ラベルレートでの教師付きサンプルの臨界中心性に対処する。
私たちのコードは提出のためにオンフットコノニマス化されています。
論文 参考訳(メタデータ) (2023-07-31T20:19:36Z) - Learning in Inverse Optimization: Incenter Cost, Augmented Suboptimality
Loss, and Algorithms [4.0295993947651025]
我々は、最近Besbesらによって提案された「内心」の概念を、周辺に類似した新しい概念として紹介する。
本稿では,不整合データ問題に対する内心的概念の緩和であるASL (Augmented Suboptimality Loss) という新たな損失関数を提案する。
このアルゴリズムは、近似的な下位段階の評価とミラー降下更新ステップを組み合わせることで、高濃度の離散可能な集合を持つIO問題に対して、確実に効率的である。
論文 参考訳(メタデータ) (2023-05-12T18:58:08Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳(メタデータ) (2023-03-10T07:42:49Z) - Federated Sufficient Dimension Reduction Through High-Dimensional Sparse
Sliced Inverse Regression [4.561305216067566]
フェデレーション学習は、ビッグデータ時代において、近年人気の高いツールとなっている。
本稿では,初めてフェデレートされたスパースススライス逆回帰アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-23T15:53:06Z) - Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。
6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-05-21T01:47:17Z) - Byzantine-Robust Federated Linear Bandits [27.77095339417368]
分散エージェントの集合が共通の線形帯域モデルを協調的に学習するフェデレート環境で線形帯域最適化問題を研究する。
標準的な連邦学習アルゴリズムは、少数のエージェントに対するビザンチン攻撃に対して脆弱である。
提案アルゴリズムは, エージェントの半数未満に対するビザンチン攻撃に対して堅牢であり, サブ線形$tildemathcalO(T3/4)$ regret with $mathcalO(sqrtT)$ steps of communicationを実現している。
論文 参考訳(メタデータ) (2022-04-03T20:22:26Z) - Lattice partition recovery with dyadic CART [79.96359947166592]
我々は、$d$次元格子上の加法ガウス雑音によって破損したピースワイド定値信号について検討する。
この形式のデータは、多くのアプリケーションで自然に発生し、統計処理や信号処理の文献において、信号の検出やテスト、ノイズの除去、推定といったタスクが広く研究されている。
本稿では,未知の信号の一貫性領域によって誘導される格子の分割を推定する,分割回復の問題について考察する。
我々は、DCARTベースの手順が、下位分割を$sigma2 k*の順序で一貫して推定することを証明した。
論文 参考訳(メタデータ) (2021-05-27T23:41:01Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Learning Halfspaces with Massart Noise Under Structured Distributions [46.37328271312332]
分布特異的PACモデルにおいて,マスアートノイズを伴う学習空間の問題を解く。
対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対
論文 参考訳(メタデータ) (2020-02-13T17:02:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。