論文の概要: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2502.00193v1
• Date: Fri, 31 Jan 2025 22:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:53.435315
• Title: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning
• Title（参考訳）: Byzantine-Resilient Zero-Order Optimization for Communication-Efficient Heterogeneous Federated Learning (特集:情報ネットワーク)
• Authors: Maximilian Egger, Mayank Bakshi, Rawad Bitar,
• Abstract要約: CyBeR-0は、ビザンチン攻撃下で堅牢なビザンチン耐性ゼロオーダー最適化法である。 通信コストのアップとフェデレーションが大幅に削減される。
• 参考スコア（独自算出の注目度）: 7.283495039017121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce CyBeR-0, a Byzantine-resilient federated zero-order optimization method that is robust under Byzantine attacks and provides significant savings in uplink and downlink communication costs. We introduce transformed robust aggregation to give convergence guarantees for general non-convex objectives under client data heterogeneity. Empirical evaluations for standard learning tasks and fine-tuning large language models show that CyBeR-0 exhibits stable performance with only a few scalars per-round communication cost and reduced memory requirements.
• Abstract（参考訳）: 我々は、ビザンチン攻撃下で堅牢で、アップリンクおよびダウンリンク通信コストの大幅な削減を提供する、ビザンチン耐性の連邦化ゼロオーダー最適化手法であるCyBeR-0を紹介する。 我々は、クライアントデータの不均一性の下で、一般的な非凸目的に対して収束を保証するために、変換されたロバストアグリゲーションを導入します。 標準学習タスクと微調整された大言語モデルに対する実証的な評価は、CyBeR-0は、ラウンドごとの通信コストをわずかに削減し、メモリ要求を減らし、安定した性能を示すことを示している。

関連論文リスト

• Fractional-Order Federated Learning [4.1751058176413105]
  フェデレートラーニング(FL)は、リモートクライアントがクライアントのプライバシを保護しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 プライバシー保護のメリットにもかかわらず、FLには、収束の遅い、通信コストの高い、非独立性および独立性のない(非IID)データなど、大きな欠点がある。
  論文  参考訳（メタデータ） (2026-02-17T06:25:23Z)
• Byzantine-Robust Federated Learning with Learnable Aggregation Weights [7.448890820711754]
  フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 悪意のある(ビザンティンの)クライアントの存在は、FLの堅牢性に重大な課題をもたらす。 本稿では,アダプティブ重み付けを集約プロセスに組み込んだ新しいビザンチン・ロバストFL最適化問題を提案する。
  論文  参考訳（メタデータ） (2025-11-05T15:02:21Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• OptiGradTrust: Byzantine-Robust Federated Learning with Multi-Feature Gradient Analysis and Reinforcement Learning-Based Trust Weighting [3.112384742740621]
  Federated Learning (FL)は、患者プライバシを保護しながら、分散医療機関間で協調的なモデルトレーニングを可能にする。 我々は,新しい6次元指紋による更新を評価する総合的な防衛フレームワークOptiGradTrustを提案する。 我々はフェデレートバッチ正規化と正規化を組み合わせたFedBN-ProxFedBN-Pを開発した。
  論文  参考訳（メタデータ） (2025-07-31T15:14:36Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Byzantine-Robust Federated Learning Using Generative Adversarial Networks [1.4091801425319963]
  フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にするが、その堅牢性は、データやモデル中毒といったビザンチンの行動によって脅かされている。 本稿では,クライアントの更新を検証するための代表データを生成するために,サーバ上の条件付き生成逆ネットワーク(cGAN)を活用することで,これらの課題に対処する防衛フレームワークを提案する。 このアプローチは、外部データセットへの依存を排除し、多様な攻撃戦略に適応し、標準FLにシームレスに統合する。
  論文  参考訳（メタデータ） (2025-03-26T18:00:56Z)
• Byzantine-Resilient Over-the-Air Federated Learning under Zero-Trust Architecture [68.83934802584899]
  我々は,セキュアな適応クラスタリング(FedSAC)を用いたフェデレーション学習(Federated Learning)と呼ばれる,無線通信のための新しいビザンチン・ロバストFLパラダイムを提案する。 FedSACは、デバイスの一部をゼロ信頼アーキテクチャ(ZTA)ベースのビザンティン識別と適応デバイスクラスタリングによる攻撃から保護することを目的としている。 実験精度と収束率の両面から,提案手法よりもFedSACの方が優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-24T01:56:30Z)
• UniCBE: An Uniformity-driven Comparing Based Evaluation Framework with Unified Multi-Objective Optimization [19.673388630963807]
  統一統一性駆動型CBEフレームワークUniCBEを提案する。 AlpacaEvalベンチマークでは、UniCBEは評価予算の17%以上を削減し、Pearsonと地上の真実との相関は0.995を超えている。 新しいモデルが継続的に導入されるシナリオでは、UniCBEは評価コストの50%以上を節約できる。
  論文  参考訳（メタデータ） (2025-02-17T05:28:12Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Byzantine-resilient Federated Learning Employing Normalized Gradients on Non-IID Datasets [23.640506243685863]
  実践的連合学習(FLNGA)では、悪意のある攻撃やデータ不均一性の存在が学習プロセスにバイアスをもたらすことが多い。 本稿では、アップロードされた局所勾配をアグリゲーションの前に正規化する正規化勾配単位(Fed-M)モデルを提案し、$mathcalO(pM)$を達成した。
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
  クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。 この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。 高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:49:33Z)
• Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization [6.667253099509426]
  本稿では,メモリ・通信効率の高いフェデレート学習のための最初のゼロオーダー最適化アルゴリズムであるCYBER-0を紹介する。 CYBER-0は通信やメモリ効率の点で最先端のアルゴリズムより優れており,精度も同等であることを示す。
  論文  参考訳（メタデータ） (2024-06-20T14:36:12Z)
• Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
  我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。 分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
  論文  参考訳（メタデータ） (2024-06-13T14:45:35Z)
• Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization [15.73877955614998]
  本稿では,クライアント間のスカラー値を一定数送信することで,通信コストを$mathscrO(d)$から$mathscrO(d)$に削減する新しい通信アルゴリズムであるDeComFLを提案する。 古典的なディープラーニングトレーニングと大規模言語モデルの微調整の両方を含む経験的評価は、通信オーバーヘッドを大幅に削減することを示している。
  論文  参考訳（メタデータ） (2024-05-24T18:07:05Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。