論文の概要: From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity

• arxiv url: http://arxiv.org/abs/2602.03329v1
• Date: Tue, 03 Feb 2026 09:56:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.376327
• Title: From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity
• Title（参考訳）: 非接触勾配からビザンチンロバストネスへ:類似性の下での加速と最適化
• Authors: Renaud Gaucher, Aymeric Dieuleveut, Hadrien Hendrikx,
• Abstract要約: そこで,Byzantine-Robust分散最適化は,不正確な勾配オラクルを用いた一般化最適化として適用可能であることを示す。 収束を高速化する2つの最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 12.097833603814252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard federated learning algorithms are vulnerable to adversarial nodes, a.k.a. Byzantine failures. To solve this issue, robust distributed learning algorithms have been developed, which typically replace parameter averaging by robust aggregations. While generic conditions on these aggregations exist to guarantee the convergence of (Stochastic) Gradient Descent (SGD), the analyses remain rather ad-hoc. This hinders the development of more complex robust algorithms, such as accelerated ones. In this work, we show that Byzantine-robust distributed optimization can, under standard generic assumptions, be cast as a general optimization with inexact gradient oracles (with both additive and multiplicative error terms), an active field of research. This allows for instance to directly show that GD on top of standard robust aggregation procedures obtains optimal asymptotic error in the Byzantine setting. Going further, we propose two optimization schemes to speed up the convergence. The first one is a Nesterov-type accelerated scheme whose proof directly derives from accelerated inexact gradient results applied to our formulation. The second one hinges on Optimization under Similarity, in which the server leverages an auxiliary loss function that approximates the global loss. Both approaches allow to drastically reduce the communication complexity compared to previous methods, as we show theoretically and empirically.
• Abstract（参考訳）: 標準的なフェデレーション学習アルゴリズムは、敵ノード、すなわちビザンツの障害に対して脆弱である。 この問題を解決するために、ロバストな分散学習アルゴリズムが開発され、通常はロバストな集約によるパラメータ平均化を置き換える。 これらの集合に関する一般的な条件は、(SGD) の収束を保証するために存在するが、解析はむしろアドホックなままである。 これにより、加速されたアルゴリズムのようなより複雑な堅牢なアルゴリズムの開発が妨げられる。 本研究では、Byzantine-robust分散最適化が、標準的な一般的な仮定の下では、(加法的および乗法的誤りの両項を含む)不正確な勾配オラクルの一般最適化として、研究の活発な分野として適用可能であることを示す。 例えば、標準的なロバストな集計手順上のGDが、ビザンティン設定における最適な漸近誤差を得ることを示すことができる。 さらに,収束を高速化する2つの最適化手法を提案する。 1つはネステロフ型加速スキームで、その証明は我々の定式化に適用された加速された不正確な勾配結果から直接導かれる。 2つ目は、サーバがグローバルな損失を近似する補助的損失関数を利用するSimisityによる最適化である。 どちらの手法も、理論的にも経験的にも、従来の手法に比べて通信の複雑さを大幅に減らすことができる。

関連論文リスト

• VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations [3.6997773420183866]
  我々は,Nesterovの加速度と分散還元技術を組み合わせた,新しい楽観的勾配型アルゴリズムフレームワークを開発した。 この手法はリプシッツ連続性の下で残余の平方ノルムを期待して$mathcalO (1/k2)$収束率を達成することを示す。 提案手法の反復列は根本問題の解にほぼ確実に収束することを示す。
  論文  参考訳（メタデータ） (2025-08-22T20:46:29Z)
• Elucidating Subspace Perturbation in Zeroth-Order Optimization: Theory and Practice at Scale [33.38543010618118]
  Zeroth-order (ZO) 最適化は、勾配ベースのバックプロパゲーション法に代わる有望な代替手段として登場した。 高次元性が主要なボトルネックであることを示し、サブスペースの摂動が勾配ノイズを減らし収束を加速させる方法について説明するために、テキストサブスペースアライメントの概念を導入する。 本稿では,ブロック座標降下法(MeZO-BCD)を用いた効率的なZO法を提案し,各ステップでパラメータのサブセットのみを摂動・更新する。
  論文  参考訳（メタデータ） (2025-01-31T12:46:04Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Robust Distributed Optimization With Randomly Corrupted Gradients [24.253191879453784]
  本研究では, ビザンチンの故障に頑健で, 潜在的に敵対的な挙動を示す一階分散最適化アルゴリズムを提案する。 我々のアルゴリズムは順序正規化と信頼に値する統計的誤差収束率を達成する。
  論文  参考訳（メタデータ） (2021-06-28T19:45:25Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。