論文の概要: Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing

• arxiv url: http://arxiv.org/abs/2501.17392v1
• Date: Wed, 29 Jan 2025 03:01:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:54:13.642751
• Title: Byzantine-Robust Federated Learning over Ring-All-Reduce Distributed Computing
• Title（参考訳）: リング・オール・リデュース分散コンピューティングによるビザンチン・ロバスト・フェデレーション学習
• Authors: Minghong Fang, Zhuqing Liu, Xuecen Zhao, Jia Liu,
• Abstract要約: フェデレートラーニング(FL)は、データプライバシのメリットと並列計算による収束の促進のために、分散学習パラダイムとして注目を集めている。 従来のFLは、複数のクライアントをコーディネートしてグローバルモデルをトレーニングする、サーバクライアントアーキテクチャ(SC)に依存していた。 これを解決するために、リングオールリデュース(RAR)アーキテクチャを導入し、中央サーバを排除し、帯域幅の最適化を実現した。 本稿では,ビザンチンのロバスト性と通信効率を両立させる最初のRARベースのFLアルゴリズムBRACEを提案する。
• 参考スコア（独自算出の注目度）: 7.774504615954929
• License:
• Abstract: Federated learning (FL) has gained attention as a distributed learning paradigm for its data privacy benefits and accelerated convergence through parallel computation. Traditional FL relies on a server-client (SC) architecture, where a central server coordinates multiple clients to train a global model, but this approach faces scalability challenges due to server communication bottlenecks. To overcome this, the ring-all-reduce (RAR) architecture has been introduced, eliminating the central server and achieving bandwidth optimality. However, the tightly coupled nature of RAR's ring topology exposes it to unique Byzantine attack risks not present in SC-based FL. Despite its potential, designing Byzantine-robust RAR-based FL algorithms remains an open problem. To address this gap, we propose BRACE (Byzantine-robust ring-all-reduce), the first RAR-based FL algorithm to achieve both Byzantine robustness and communication efficiency. We provide theoretical guarantees for the convergence of BRACE under Byzantine attacks, demonstrate its bandwidth efficiency, and validate its practical effectiveness through experiments. Our work offers a foundational understanding of Byzantine-robust RAR-based FL design.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシのメリットと並列計算による収束の促進のために、分散学習パラダイムとして注目を集めている。 従来のFLは、中央サーバが複数のクライアントをコーディネートしてグローバルモデルをトレーニングする、サーバクライアントアーキテクチャ(SC)に依存していたが、このアプローチはサーバ通信のボトルネックによるスケーラビリティの課題に直面している。 これを解決するために、リングオールリデュース(RAR)アーキテクチャを導入し、中央サーバを排除し、帯域幅の最適化を実現した。 しかし、RARの環トポロジーの密結合性は、SCベースのFLには存在しない独特なビザンチン攻撃リスクに露呈する。 その可能性にもかかわらず、Byzantine-robust RARベースのFLアルゴリズムを設計することは未解決の問題である。 このギャップに対処するため,Byzantine-robust ring-all-reduce(BRACE)を提案する。 ビザンチン攻撃によるBRACEの収束を理論的に保証し、その帯域幅効率を実証し、実験によりその実用性を検証する。 我々の研究は、ビザンチンのロバストなRARベースのFL設計に関する基礎的な理解を提供する。

関連論文リスト

• Rethinking Byzantine Robustness in Federated Recommendation from Sparse Aggregation Perspective [65.65471972217814]
  フェデレーションラーニング(FL)に基づいたフェデレーションレコメンデーション(FR)が出現し、個人データをローカルクライアントに保持し、モデルを協調的に更新する。 FR には独自のスパース集約機構があり、各項目の埋め込みは、一般の FL の密集集合において、完全なクライアントではなく、部分的なクライアントによって更新される。 本稿では,単一項目の集約を最小の実行単位として定義することにより,スパースアグリゲーションの下でのビザンチンのロバスト性を再構成する。 本研究では,スパースアグリゲーションの脆弱性を悪用し,敵の知識と能力に沿って分類する,Sp attackという効果的な攻撃戦略のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-01-06T15:19:26Z)
• Embedding Byzantine Fault Tolerance into Federated Learning via Virtual Data-Driven Consistency Scoring Plugin [3.536605202672355]
  本稿では,Byzantine-Resilienceを実現するために既存のFL技術に統合可能な直感的なプラグインを提案する。 医用画像分類タスクの数値的な結果は,提案手法を代表FLアルゴリズムに組み込むことで,効果的にビザンチンレジリエンスを実現する。
  論文  参考訳（メタデータ） (2024-11-15T14:17:19Z)
• Byzantine-Robust Decentralized Federated Learning [30.33876141358171]
  フェデレーション・ラーニング(FL)は、複数のクライアントがプライベートデータを公開せずに、共同で機械学習モデルをトレーニングすることを可能にする。 分散学習(DFL)アーキテクチャは、クライアントがサーバーレスとピアツーピアの方法でモデルを協調的にトレーニングできるように提案されている。 悪意のあるクライアントは、近隣のクライアントに慎重に構築されたローカルモデルを送信することでシステムを操作できる。 本稿では,DFLにおける毒殺対策として,BALANCE (Byzantine-robust averaging through local similarity in decentralization) というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T21:28:37Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
  無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。 提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
  論文  参考訳（メタデータ） (2022-04-26T16:37:29Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• RC-SSFL: Towards Robust and Communication-efficient Semi-supervised Federated Learning System [25.84191221776459]
  Federated Learning(FL)は、新たな分散型人工知能パラダイムである。 現在のシステムは、強い前提に大きく依存している: すべてのクライアントは、豊富な真実をラベル付けしたデータを持っている。 実用的ロバスト・コミュニケーション効率の高い半監視FL(RC-SSFL)システム設計を紹介します。
  論文  参考訳（メタデータ） (2020-12-08T14:02:56Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。