Fugu-MT 論文翻訳(概要): Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning

論文の概要: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2502.00193v1
Date: Fri, 31 Jan 2025 22:22:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:04:59.944284
Title: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
Title（参考訳）: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning (特集:情報ネットワーク)
Authors: Maximilian Egger, Mayank Bakshi, Rawad Bitar,
Abstract要約: CyBeR-0は、ビザンチン攻撃下で堅牢なビザンチン耐性ゼロオーダー最適化法である。通信コストのアップとフェデレーションが大幅に削減される。
参考スコア（独自算出の注目度）: 7.283495039017121
License:
Abstract: We introduce CyBeR-0, a Byzantine-resilient federated zero-order optimization method that is robust under Byzantine attacks and provides significant savings in uplink and downlink communication costs. We introduce transformed robust aggregation to give convergence guarantees for general non-convex objectives under client data heterogeneity. Empirical evaluations for standard learning tasks and fine-tuning large language models show that CyBeR-0 exhibits stable performance with only a few scalars per-round communication cost and reduced memory requirements.
Abstract（参考訳）: 我々は、ビザンチン攻撃下で堅牢で、アップリンクおよびダウンリンク通信コストの大幅な削減を提供する、ビザンチン耐性の連邦化ゼロオーダー最適化手法であるCyBeR-0を紹介する。我々は、クライアントデータの不均一性の下で、一般的な非凸目的に対して収束を保証するために、変換されたロバストアグリゲーションを導入します。標準学習タスクと微調整された大言語モデルに対する実証的な評価は、CyBeR-0は、ラウンドごとの通信コストをわずかに削減し、メモリ要求を減らし、安定した性能を示すことを示している。

関連論文リスト

UniCBE: An Uniformity-driven Comparing Based Evaluation Framework with Unified Multi-Objective Optimization [19.673388630963807]
統一統一性駆動型CBEフレームワークUniCBEを提案する。 AlpacaEvalベンチマークでは、UniCBEは評価予算の17%以上を削減し、Pearsonと地上の真実との相関は0.995を超えている。新しいモデルが継続的に導入されるシナリオでは、UniCBEは評価コストの50%以上を節約できる。
論文参考訳（メタデータ） (2025-02-17T05:28:12Z)
Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Rethinking Byzantine Robustness in Federated Recommendation from Sparse Aggregation Perspective [65.65471972217814]
フェデレーションラーニング(FL)に基づいたフェデレーションレコメンデーション(FR)が出現し、個人データをローカルクライアントに保持し、モデルを協調的に更新する。 FR には独自のスパース集約機構があり、各項目の埋め込みは、一般の FL の密集集合において、完全なクライアントではなく、部分的なクライアントによって更新される。本稿では,単一項目の集約を最小の実行単位として定義することにより,スパースアグリゲーションの下でのビザンチンのロバスト性を再構成する。本研究では,スパースアグリゲーションの脆弱性を悪用し,敵の知識と能力に沿って分類する,Sp attackという効果的な攻撃戦略のファミリーを提案する。
論文参考訳（メタデータ） (2025-01-06T15:19:26Z)
Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。堅牢性とコミュニケーションの保存に関する重要な課題に直面している。本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
論文参考訳（メタデータ） (2024-09-13T08:53:10Z)
Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
論文参考訳（メタデータ） (2024-08-18T16:50:39Z)
Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
論文参考訳（メタデータ） (2024-06-25T11:49:33Z)
Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization [6.667253099509426]
本稿では,メモリ・通信効率の高いフェデレート学習のための最初のゼロオーダー最適化アルゴリズムであるCYBER-0を紹介する。 CYBER-0は通信やメモリ効率の点で最先端のアルゴリズムより優れており,精度も同等であることを示す。
論文参考訳（メタデータ） (2024-06-20T14:36:12Z)
Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
論文参考訳（メタデータ） (2024-06-13T14:45:35Z)
Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
論文参考訳（メタデータ） (2024-03-20T08:15:08Z)
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文参考訳（メタデータ） (2023-05-19T10:47:44Z)
Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。