論文の概要: Adversary-Robust Learning from Fully Asynchronous Directional Derivative Estimates

• arxiv url: http://arxiv.org/abs/2605.09337v1
• Date: Sun, 10 May 2026 05:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.197988
• Title: Adversary-Robust Learning from Fully Asynchronous Directional Derivative Estimates
• Title（参考訳）: 完全非同期方向導関数推定による逆ロバスト学習
• Abstract要約: 本稿では,パラメータ・サーバ・ワーカシステムにおける逆回復学習のためのFAR-SIGN (Fully Asynchronous Robust Optimization via SIGNed directional projections)を提案する。 MNISTの実験では、FAR-SIGNは精度と壁面時間の両方で頑健な凝集法よりも優れていた。
• 参考スコア（独自算出の注目度）: 37.27142753594091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose FAR-SIGN (Fully Asynchronous Robust optimization via SIGNed directional projections) for adversary-resilient learning in parameter-server--worker systems. FAR-SIGN achieves robustness through sign-based updates along carefully designed directions and mitigates the resulting bias via a two-timescale mechanism. It admits both first-order and zeroth-order implementations and enables fully asynchronous execution without requiring a private reference dataset at the server. We establish almost-sure convergence of FAR-SIGN to the set of stationary points for smooth, nonconvex objectives. Moreover, we prove the near-optimal rate of $O(n^{-1/4+ε})$ in the first-order setting and the standard $O(n^{-1/6+ε})$ in the zeroth-order setting, where $n$ is the iteration count and $ε>0$ can be chosen arbitrarily small. Experiments on MNIST show that FAR-SIGN outperforms robust aggregation-based methods in both accuracy and wall-clock time.
• Abstract（参考訳）: 本稿では,パラメータ・サーバ・ワーカシステムにおける逆回復学習のためのFAR-SIGN (Fully Asynchronous Robust Optimization via SIGNed directional projections)を提案する。 FAR-SIGNは、サインベースの更新を通じて慎重に設計された方向に沿って堅牢性を達成し、2時間スケールのメカニズムでバイアスを緩和する。 ファーストオーダとゼロオーダの両方の実装を認め、サーバにプライベートリファレンスデータセットを必要とせずに、完全に非同期実行を可能にする。 本研究では、FAR-SIGN を滑らかで非凸な目的に対して定常点の集合にほぼ確実に収束させる。 さらに、第1次設定では$O(n^{-1/4+ε})$、第0次設定では$O(n^{-1/6+ε})$、第2次設定では$n$が反復数であり、$ε>0$が任意に小さいことを証明する。 MNISTの実験では、FAR-SIGNは、精度と壁面時間の両方において、ロバストなアグリゲーションベースの手法より優れていた。

関連論文リスト

• Adaptively Incorporating Directional Hints into Zeroth-Order Optimization [49.940317286021696]
  本研究では,非関数の次数ゼロの最適化を実現するアルゴリズムを開発した。 非制御タスクにおける持続的な進捗を示す手法を検証した。
  論文  参考訳（メタデータ） (2026-09-08T05:42:02Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization [8.670873561640903]
  分散環境下での非平滑な非平滑な目的に対する(delta,,ilon$)-定常点の有限時間解析について検討する。 $Oは分散非滑らかな最適化のための最初の有限時間保証である。
  論文  参考訳（メタデータ） (2024-06-03T16:09:34Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Robust Fully-Asynchronous Methods for Distributed Training over General Architecture [11.480605289411807]
  分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。 本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
  論文  参考訳（メタデータ） (2023-07-21T14:36:40Z)
• Non-stationary Delayed Online Convex Optimization: From Full-information to Bandit Setting [71.82716109461967]
  遅延勾配が利用できる全情報ケースに対して Mild-OGD というアルゴリズムを提案する。 ミルド-OGDのダイナミックな後悔は、順番の仮定の下で$O(sqrtbardT(P_T+1))$で自動的に束縛されることを示す。 Mild-OGDのバンディット版も開発し,損失値の遅れのみを考慮に入れた,より困難なケースについて検討した。
  論文  参考訳（メタデータ） (2023-05-20T07:54:07Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Asynchronous Distributed Optimization with Stochastic Delays [22.069731881164895]
  中央パラメータサーバを用いた分散データ設定における非同期性について検討する。 分散データ設定のためのSAGAに基づくADSAGAを開発する。 本研究は,SGD や同期手法に対する分散誘導型非同期手法のウォールクロックの利点を実証するものである。
  論文  参考訳（メタデータ） (2020-09-22T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。