論文の概要: Incentivizing Truthful Collaboration in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2412.00980v2
• Date: Wed, 05 Mar 2025 15:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:49:49.293423
• Title: Incentivizing Truthful Collaboration in Heterogeneous Federated Learning
• Title（参考訳）: 不均一なフェデレーション学習における真のコラボレーションのインセンティブ
• Authors: Dimitar Chakarov, Nikita Tsoy, Kristian Minchev, Nikola Konstantinov,
• Abstract要約: フェデレーテッド・ラーニング(FL)は、複数のクライアントが生データの代わりに勾配更新を共有することによって、一緒に学習する分散コラボレーティブ・ラーニング手法である。 データの不均一性がクライアントの更新操作インセンティブに与える影響について検討する。 我々は、FedSGDプロトコルの下で修正された更新の送信を確実に非インセンティブ化する支払いルールを開発する。
• 参考スコア（独自算出の注目度）: 3.3748750222488657
• License:
• Abstract: Federated learning (FL) is a distributed collaborative learning method, where multiple clients learn together by sharing gradient updates instead of raw data. However, it is well-known that FL is vulnerable to manipulated updates from clients. In this work we study the impact of data heterogeneity on clients' incentives to manipulate their updates. First, we present heterogeneous collaborative learning scenarios where a client can modify their updates to be better off, and show that these manipulations can lead to diminishing model performance. To prevent such modifications, we formulate a game in which clients may misreport their gradient updates in order to "steer" the server model to their advantage. We develop a payment rule that provably disincentivizes sending modified updates under the FedSGD protocol. We derive explicit bounds on the clients' payments and the convergence rate of the global model, which allows us to study the trade-off between heterogeneity, payments and convergence. Finally, we provide an experimental evaluation of the effectiveness of our payment rule in the FedSGD, median-based aggregation FedSGD and FedAvg protocols on three tasks in computer vision and natural language processing. In all cases we find that our scheme successfully disincentivizes modifications.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、複数のクライアントが生データの代わりに勾配更新を共有することによって、一緒に学習する分散コラボレーティブ・ラーニング手法である。 しかし、FLがクライアントから操作された更新に対して脆弱であることはよく知られている。 本研究では,データの不均一性がクライアントの更新操作インセンティブに与える影響について検討する。 まず、クライアントが改善のために更新を変更できる異種協調学習シナリオを提示し、これらの操作がモデルの性能を低下させる可能性があることを示す。 このような変更を防止するため、クライアントがサーバモデルを有利に活用するために、勾配更新を誤って報告するゲームを定式化する。 我々は、FedSGDプロトコルの下で修正された更新の送信を確実に非インセンティブ化する支払いルールを開発する。 我々は、クライアントの支払いとグローバルモデルの収束率に明確な境界を導き、不均一性、支払い、収束の間のトレードオフを研究することができる。 最後に,コンピュータビジョンと自然言語処理の3つの課題におけるFedSGDとFedSGDとFedAvgプロトコルにおける支払いルールの有効性を実験的に評価する。 いずれの場合も、我々の計画が修正のインセンティブをなくすことに成功している。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• To Federate or Not To Federate: Incentivizing Client Participation in Federated Learning [22.3101738137465]
  フェデレートラーニング(FL)は、共通の機械学習モデルをトレーニングしようとするクライアントのグループ間のコラボレーションを促進する。 本稿では,グローバルモデルにインセンティブを与えるクライアントの割合を明示的に最大化する,IncFLと呼ばれるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-30T04:03:31Z)
• Incentivizing Federated Learning [2.420324724613074]
  本稿では,顧客に対して可能な限り多くのデータ提供を促すインセンティブメカニズムを提案する。 従来のインセンティブメカニズムとは異なり、私たちのアプローチはデータを収益化しません。 理論的には、ある条件下では、クライアントがフェデレーション学習に参加できる限り多くのデータを使用することを証明します。
  論文  参考訳（メタデータ） (2022-05-22T23:02:43Z)
• Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
  フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。 本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。 我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T05:31:07Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。