論文の概要: High Dimensional Distributed Gradient Descent with Arbitrary Number of Byzantine Attackers

• arxiv url: http://arxiv.org/abs/2307.13352v2
• Date: Wed, 27 Mar 2024 09:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:12:22.199840
• Title: High Dimensional Distributed Gradient Descent with Arbitrary Number of Byzantine Attackers
• Title（参考訳）: 任意数のビザンチン系アタッカーを用いた高次元分布勾配発振
• Authors: Puning Zhao, Zhiguo Wan,
• Abstract要約: 任意の数のビザンツ人攻撃者の下で,高次元問題に適した新しい手法を設計する。 次元性への依存は、以前の研究と比べて著しく改善されている。
• 参考スコア（独自算出の注目度）: 11.402801638799115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust distributed learning with Byzantine failures has attracted extensive research interests in recent years. However, most of existing methods suffer from curse of dimensionality, which is increasingly serious with the growing complexity of modern machine learning models. In this paper, we design a new method that is suitable for high dimensional problems, under arbitrary number of Byzantine attackers. The core of our design is a direct high dimensional semi-verified mean estimation method. Our idea is to identify a subspace first. The components of mean value perpendicular to this subspace can be estimated via gradient vectors uploaded from worker machines, while the components within this subspace are estimated using auxiliary dataset. We then use our new method as the aggregator of distributed learning problems. Our theoretical analysis shows that the new method has minimax optimal statistical rates. In particular, the dependence on dimensionality is significantly improved compared with previous works.
• Abstract（参考訳）: ビザンツの失敗によるロバストな分散学習は近年、広範な研究の関心を集めている。 しかし、既存の手法のほとんどは次元の呪いに悩まされており、現代の機械学習モデルの複雑さが増すにつれ、ますます深刻なものになっている。 本稿では,ビザンツ人攻撃者の任意個数で,高次元問題に適した新しい手法を設計する。 我々の設計の中核は、直接高次元半検証平均推定法である。 我々の考えは、まず部分空間を特定することである。 この部分空間に垂直な平均値の成分は、ワーカマシンからアップロードされた勾配ベクトルによって推定できる。 次に、分散学習問題の集合体として、新しい手法を用いる。 理論解析により,本手法は最小最適統計率を有することが示された。 特に、従来の作品に比べて寸法依存性は著しく改善されている。

関連論文リスト

• Effort: Efficient Orthogonal Modeling for Generalizable AI-Generated Image Detection [66.16595174895802]
  既存のAI生成画像(AIGI)検出手法は、しばしば限定的な一般化性能に悩まされる。 本稿では、AIGI検出において、これまで見過ごされてきた重要な非対称性現象を同定する。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• Distributed Least Squares in Small Space via Sketching and Bias Reduction [0.0]
  マトリックススケッチは、大きなデータ行列のサイズを減らす強力なツールである。 誤差よりも推定器のバイアスを最小限に抑えるスケッチ手法を設計することで,これらの制限を分散環境で回避できることを示す。 特に、最適空間と現在の行列乗算時間で動作するスパーススケッチ法を提案し、2つのパスデータを用いて、ほぼ偏りのない最小二乗推定器を復元する。
  論文  参考訳（メタデータ） (2024-05-08T18:16:37Z)
• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression [4.561305216067566]
  フェデレーション学習は、ビッグデータ時代において、近年人気の高いツールとなっている。 本稿では,初めてフェデレートされたスパースススライス逆回帰アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-23T15:53:06Z)
• Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
  高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。 我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。 観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
  論文  参考訳（メタデータ） (2022-10-23T21:45:53Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Manifold Hypothesis in Data Analysis: Double Geometrically-Probabilistic Approach to Manifold Dimension Estimation [92.81218653234669]
  本稿では, 多様体仮説の検証と基礎となる多様体次元推定に対する新しいアプローチを提案する。 我々の幾何学的手法はミンコフスキー次元計算のためのよく知られたボックスカウントアルゴリズムのスパースデータの修正である。 実データセットの実験では、2つの手法の組み合わせに基づく提案されたアプローチが強力で効果的であることが示されている。
  論文  参考訳（メタデータ） (2021-07-08T15:35:54Z)
• Surrogate assisted active subspace and active subspace assisted surrogate -- A new paradigm for high dimensional structural reliability analysis [0.0]
  時間的自明で高価な評価に関連する問題を克服するための一般的なアプローチは、代理モデルの構築である。 本稿では,高次元信頼性解析問題を解くための枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-11T12:29:01Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。