論文の概要: Weighted Loss Methods for Robust Federated Learning under Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2506.09824v1
• Date: Wed, 11 Jun 2025 15:04:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.076889
• Title: Weighted Loss Methods for Robust Federated Learning under Data Heterogeneity
• Title（参考訳）: データ不均一性を考慮したロバストフェデレーション学習における重み付き損失法
• Authors: Johan Erbani, Sonia Ben Mokhtar, Pierre-Edouard Portier, Elod Egyed-Zsigmond, Diana Nurbakova,
• Abstract要約: フェデレートラーニング(FL)は、複数のデータホルダーが、トレーニングデータを外部と共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。 FLはプライバシーの観点からは魅力的に思えるが、セキュリティの観点からは(ビザンチン)参加者がモデル収束を害する有毒な勾配(またはモデルパラメータ)に貢献できるため、多くの脅威を開放する。 WoLA(Worker Labelement Loss)は、データの不均一性にもかかわらず、正直な作業者の勾配を整合させる重み付き損失である。
• 参考スコア（独自算出の注目度）: 2.6355823502823195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a machine learning paradigm that enables multiple data holders to collaboratively train a machine learning model without sharing their training data with external parties. In this paradigm, workers locally update a model and share with a central server their updated gradients (or model parameters). While FL seems appealing from a privacy perspective, it opens a number of threats from a security perspective as (Byzantine) participants can contribute poisonous gradients (or model parameters) harming model convergence. Byzantine-resilient FL addresses this issue by ensuring that the training proceeds as if Byzantine participants were absent. Towards this purpose, common strategies ignore outlier gradients during model aggregation, assuming that Byzantine gradients deviate more from honest gradients than honest gradients do from each other. However, in heterogeneous settings, honest gradients may differ significantly, making it difficult to distinguish honest outliers from Byzantine ones. In this paper, we introduce the Worker Label Alignement Loss (WoLA), a weighted loss that aligns honest worker gradients despite data heterogeneity, which facilitates the identification of Byzantines' gradients. This approach significantly outperforms state-of-the-art methods in heterogeneous settings. In this paper, we provide both theoretical insights and empirical evidence of its effectiveness.
• Abstract（参考訳）: Federated Learning(FL)は、機械学習のパラダイムであり、複数のデータ保持者が、トレーニングデータを外部と共有することなく、機械学習モデルを協調的にトレーニングすることができる。 このパラダイムでは、ワーカはモデルをローカルに更新し、更新された勾配(またはモデルパラメータ)を中央サーバと共有する。 FLはプライバシーの観点からは魅力的に思えるが、セキュリティの観点からは(ビザンチン)参加者がモデル収束を害する有毒な勾配(またはモデルパラメータ)に貢献できるため、多くの脅威を開放する。 ビザンツの弾力性のあるFLは、訓練がまるでビザンツの参加者が欠席しているかのように進行することを保証することでこの問題に対処する。 この目的に向けて、一般的な戦略は、ビザンチン勾配が互いに直交するよりも直交する直交勾配から逸脱していると仮定して、モデルアグリゲーション中の外接勾配を無視する。 しかし、異質な環境では、正直な勾配は著しく異なるため、ビザンティンのものと区別することは困難である。 本稿では、データの不均一性にもかかわらず、誠実な労働者勾配を整列させる重み付き損失であるWorker Label Alignement Loss(WoLA)を紹介する。 このアプローチは異質な設定で最先端の手法を大幅に上回る。 本稿では,その有効性に関する理論的知見と実証的証拠の両方を提供する。

関連論文リスト

• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Byzantine-Robust Learning on Heterogeneous Data via Gradient Splitting [58.91947205027892]
  フェデレーテッド・ラーニングはビザンツの攻撃に対する脆弱性を示している。 ビザンティン攻撃者は、任意の勾配を中央サーバに送ることで、グローバルモデルの収束と性能を破壊することができる。 アグレゲーション・ルール(AGR)は、ビザンツの攻撃から守るために提案されている。
  論文  参考訳（メタデータ） (2023-02-13T03:31:50Z)
• Mixed Precision Quantization to Tackle Gradient Leakage Attacks in Federated Learning [1.7205106391379026]
  フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。 このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。 特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
  論文  参考訳（メタデータ） (2022-10-22T04:24:32Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering [32.904425716385575]
  勾配ベクトルの要素ワイドサインは, モデル中毒攻撃の検出に有用であることを示す。 そこで本稿では,Byzantine-robust フェデレーション学習を有害な勾配フィルタリングによって実現するための textitSignGuard という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-13T11:15:15Z)
• A Novel Attribute Reconstruction Attack in Federated Learning [7.426857207652392]
  フェデレーテッド・ラーニング(FL)は、多数の参加者がプライベートトレーニングデータを公開することなく、共同MLモデルを構築することが可能な、有望な学習パラダイムとして登場した。 既存のFL設計では、システム内外の敵がデータプライバシーを侵害するために悪用できる脆弱性が示されている。 トレーニングデータ属性を再構築するためのcos-matchingと呼ばれる,より効率的で効率的な勾配マッチング手法を開発した。
  論文  参考訳（メタデータ） (2021-08-16T05:57:01Z)
• LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning [10.667821026727573]
  フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。 対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。 LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-26T21:34:45Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。