Fugu-MT 論文翻訳(概要): Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization

論文の概要: Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization

arxiv url: http://arxiv.org/abs/2406.14362v1
Date: Thu, 20 Jun 2024 14:36:12 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 13:12:50.683133
Title: Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization
Title（参考訳）: 通信効率の良いビザンチンレジリエントフェデレートゼロオーダー最適化
Authors: Afonso de Sá Delgado Neto, Maximilian Egger, Mayank Bakshi, Rawad Bitar,
Abstract要約: 本稿では,メモリ・通信効率の高いフェデレート学習のための最初のゼロオーダー最適化アルゴリズムであるCYBER-0を紹介する。 CYBER-0は通信やメモリ効率の点で最先端のアルゴリズムより優れており,精度も同等であることを示す。
参考スコア（独自算出の注目度）: 6.667253099509426
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce CYBER-0, the first zero-order optimization algorithm for memory-and-communication efficient Federated Learning, resilient to Byzantine faults. We show through extensive numerical experiments on the MNIST dataset and finetuning RoBERTa-Large that CYBER-0 outperforms state-of-the-art algorithms in terms of communication and memory efficiency while reaching similar accuracy. We provide theoretical guarantees on its convergence for convex loss functions.
Abstract（参考訳）: 我々は,ビザンチン断層に耐性を持つ,メモリ・通信効率の良いフェデレート学習のための最初のゼロオーダー最適化アルゴリズムであるCYBER-0を紹介する。我々は、MNISTデータセットの広範な数値実験とRoBERTa-Largeの微調整により、CYBER-0は通信とメモリ効率の点で最先端のアルゴリズムより優れており、精度は同等であることを示す。凸損失関数の収束に関する理論的保証を提供する。

関連論文リスト

Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文参考訳（メタデータ） (2024-10-21T15:34:44Z)
Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文参考訳（メタデータ） (2024-10-07T23:14:05Z)
Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。堅牢性とコミュニケーションの保存に関する重要な課題に直面している。本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
論文参考訳（メタデータ） (2024-09-13T08:53:10Z)
Data-Driven Performance Guarantees for Classical and Learned Optimizers [2.0403774954994858]
連続最適化アルゴリズムの性能を解析するためのデータ駆動型手法を提案する。パラメトリック最適化問題のファミリーを解くために古典と学習を研究した。
論文参考訳（メタデータ） (2024-04-22T02:06:35Z)
FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation [1.45179582111722]
我々は,世界目標の曲率を推定するために,最初のフェデレーションゼロ次アルゴリズムを設計する。誤差ノルムが線形に収束するインクリメンタルなヘッセン推定器を取り、それを連邦化ゼロ階数設定に適応させる。我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域的線形収束を証明した。
論文参考訳（メタデータ） (2023-09-29T12:13:41Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文参考訳（メタデータ） (2023-05-24T13:44:02Z)
Byzantine-Resilient Federated Learning at Edge [20.742023657098525]
重み付きデータを処理できるビザンチン耐性降下アルゴリズムを提案する。また,学習過程におけるコストを考慮したアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-03-18T15:14:16Z)
Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文参考訳（メタデータ） (2022-11-18T14:28:21Z)
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文参考訳（メタデータ） (2022-07-13T16:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。