論文の概要: Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML

• arxiv url: http://arxiv.org/abs/2501.09621v1
• Date: Thu, 16 Jan 2025 16:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:40.498822
• Title: Weight for Robustness: A Comprehensive Approach towards Optimal Fault-Tolerant Asynchronous ML
• Title（参考訳）: ロバストネスの重み:最適フォールトトレラント非同期MLへの包括的アプローチ
• Authors: Tehila Dahan, Kfir Y. Levy,
• Abstract要約: 非同期システムは、ビザンツの失敗に対する完全性を維持するのに苦労する。 これらの問題に対処するために、新しい重み付けされたロバストアグリゲーションフレームワークを導入します。 非同期なビザンチン環境において, 最適収束率を初めて達成する。
• 参考スコア（独自算出の注目度）: 8.419845742978985
• License:
• Abstract: We address the challenges of Byzantine-robust training in asynchronous distributed machine learning systems, aiming to enhance efficiency amid massive parallelization and heterogeneous computing resources. Asynchronous systems, marked by independently operating workers and intermittent updates, uniquely struggle with maintaining integrity against Byzantine failures, which encompass malicious or erroneous actions that disrupt learning. The inherent delays in such settings not only introduce additional bias to the system but also obscure the disruptions caused by Byzantine faults. To tackle these issues, we adapt the Byzantine framework to asynchronous dynamics by introducing a novel weighted robust aggregation framework. This allows for the extension of robust aggregators and a recent meta-aggregator to their weighted versions, mitigating the effects of delayed updates. By further incorporating a recent variance-reduction technique, we achieve an optimal convergence rate for the first time in an asynchronous Byzantine environment. Our methodology is rigorously validated through empirical and theoretical analysis, demonstrating its effectiveness in enhancing fault tolerance and optimizing performance in asynchronous ML systems.
• Abstract（参考訳）: 非同期分散機械学習システムにおけるビザンチン・ロバスト学習の課題に対処し、大規模並列化と異種コンピューティングリソースの中で効率を高めることを目的とした。 独立して作業する労働者と断続的な更新によって特徴付けられる非同期システムは、学習を妨害する悪意のある、または誤った行動を含むビザンツの失敗に対する整合性を維持するのに独自に苦労している。 このような設定に固有の遅延は、システムにさらなるバイアスをもたらすだけでなく、ビザンツ断層によって引き起こされる破壊を曖昧にする。 これらの問題に対処するために、新しい重み付けされたロバストアグリゲーションフレームワークを導入し、Byzantineフレームワークを非同期ダイナミクスに適用する。 これにより、堅牢なアグリゲータと最近のメタアグリゲータの重み付けバージョンへの拡張が可能になり、遅延更新の影響を軽減できる。 最近の分散還元手法を更に取り入れることで、非同期なビザンチン環境で初めて最適な収束率が得られる。 提案手法は経験的および理論的解析により厳密に検証され, 非同期MLシステムにおける耐故障性の向上と性能の最適化に有効であることを示す。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
  フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。 本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。 提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-25T20:02:57Z)
• FedStaleWeight: Buffered Asynchronous Federated Learning with Fair Aggregation via Staleness Reweighting [9.261784956541641]
  非同期フェデレートラーニング(AFL)メソッドは、最も遅いエージェントによる非同期フェデレーションに代わる、有望な代替手段として登場した。 AFLモデルでは、更新を高速に生成できるエージェントに対して、遅いエージェントを残してトレーニングを行う。 我々はFedStaleWeightを紹介した。これは非同期クライアント更新の集約に、平均安定化を利用して公平な再重み付けを計算するアルゴリズムである。
  論文  参考訳（メタデータ） (2024-06-05T02:52:22Z)
• Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training [8.419845742978985]
  分散機械学習(ML)システムにおけるビザンチン・ロバスト学習の挑戦的枠組みについて検討する。 最初のコントリビューションは,ベースラインアグリゲータを最適なパフォーマンスレベルにアップグレードする,効率的なメタアグリゲータの導入です。 本稿では,ビザンチン・ロバスト訓練の理論的および実践的優位性,特にチューニングプロセスの簡略化について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:29:30Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Uncertainty-Aware Deep Attention Recurrent Neural Network for Heterogeneous Time Series Imputation [0.25112747242081457]
  欠落は多変量時系列においてユビキタスであり、信頼できる下流分析の障害となる。 本稿では、欠落した値とその関連不確かさを共同で推定するDeep Attention Recurrent Imputation (Imputation)を提案する。 実験の結果,実世界のデータセットを用いた多様な計算タスクにおいて,SOTAを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T13:21:11Z)
• On the Role of Server Momentum in Federated Learning [85.54616432098706]
  a)フェデレートラーニング(FL)において未探索な大量のモーメントスキームを網羅するサーバモーメントの一般的な枠組みを提案する。 提案するフレームワークに対して厳密な収束解析を行う。
  論文  参考訳（メタデータ） (2023-12-19T23:56:49Z)
• Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
  本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。 攻撃対象のローカルSGDよりも精度が1.35%向上した。
  論文  参考訳（メタデータ） (2023-10-10T09:17:17Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• From Deterioration to Acceleration: A Calibration Approach to Rehabilitating Step Asynchronism in Federated Optimization [13.755421424240048]
  我々は,局所的な方向を予測的グローバルな方向に調整する新しいアルゴリズムであるtexttFedaGracを提案する。 理論的には、texttFedaGrac は最先端のアプローチよりも収束率の向上を証明している。
  論文  参考訳（メタデータ） (2021-12-17T07:26:31Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。