Fugu-MT 論文翻訳(概要): Incentivizing Truthful Collaboration in Heterogeneous Federated Learning

論文の概要: Incentivizing Truthful Collaboration in Heterogeneous Federated Learning

arxiv url: http://arxiv.org/abs/2412.00980v2
Date: Wed, 05 Mar 2025 15:32:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-06 17:18:40.292384
Title: Incentivizing Truthful Collaboration in Heterogeneous Federated Learning
Title（参考訳）: 不均一なフェデレーション学習における真のコラボレーションのインセンティブ
Authors: Dimitar Chakarov, Nikita Tsoy, Kristian Minchev, Nikola Konstantinov,
Abstract要約: フェデレーテッド・ラーニング(FL)は、複数のクライアントが生データの代わりに勾配更新を共有することによって、一緒に学習する分散コラボレーティブ・ラーニング手法である。データの不均一性がクライアントの更新操作インセンティブに与える影響について検討する。我々は、FedSGDプロトコルの下で修正された更新の送信を確実に非インセンティブ化する支払いルールを開発する。
参考スコア（独自算出の注目度）: 3.3748750222488657
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning (FL) is a distributed collaborative learning method, where multiple clients learn together by sharing gradient updates instead of raw data. However, it is well-known that FL is vulnerable to manipulated updates from clients. In this work we study the impact of data heterogeneity on clients' incentives to manipulate their updates. First, we present heterogeneous collaborative learning scenarios where a client can modify their updates to be better off, and show that these manipulations can lead to diminishing model performance. To prevent such modifications, we formulate a game in which clients may misreport their gradient updates in order to "steer" the server model to their advantage. We develop a payment rule that provably disincentivizes sending modified updates under the FedSGD protocol. We derive explicit bounds on the clients' payments and the convergence rate of the global model, which allows us to study the trade-off between heterogeneity, payments and convergence. Finally, we provide an experimental evaluation of the effectiveness of our payment rule in the FedSGD, median-based aggregation FedSGD and FedAvg protocols on three tasks in computer vision and natural language processing. In all cases we find that our scheme successfully disincentivizes modifications.
Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、複数のクライアントが生データの代わりに勾配更新を共有することによって、一緒に学習する分散コラボレーティブ・ラーニング手法である。しかし、FLがクライアントから操作された更新に対して脆弱であることはよく知られている。本研究では,データの不均一性がクライアントの更新操作インセンティブに与える影響について検討する。まず、クライアントが改善のために更新を変更できる異種協調学習シナリオを提示し、これらの操作がモデルの性能を低下させる可能性があることを示す。このような変更を防止するため、クライアントがサーバモデルを有利に活用するために、勾配更新を誤って報告するゲームを定式化する。我々は、FedSGDプロトコルの下で修正された更新の送信を確実に非インセンティブ化する支払いルールを開発する。我々は、クライアントの支払いとグローバルモデルの収束率に明確な境界を導き、不均一性、支払い、収束の間のトレードオフを研究することができる。最後に,コンピュータビジョンと自然言語処理の3つの課題におけるFedSGDとFedSGDとFedAvgプロトコルにおける支払いルールの有効性を実験的に評価する。いずれの場合も、我々の計画が修正のインセンティブをなくすことに成功している。

関連論文リスト

Optimal Strategies for Federated Learning Maintaining Client Privacy [8.518748080337838]
本稿では,フェデレートラーニングシステムのモデル性能とコミュニケーションのトレードオフについて検討する。グローバルなトレーニングラウンド当たりの1つのローカルエポックのトレーニングは、同じプライバシ予算を維持しながら、最適なパフォーマンスを提供することを示す。
論文参考訳（メタデータ） (2025-01-24T12:34:38Z)
Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文参考訳（メタデータ） (2024-06-24T12:16:51Z)
FedStale: leveraging stale client updates in federated learning [10.850101961203748]
フェデレーション学習アルゴリズムは、データの不均一性と部分的クライアント参加によって負の影響を受けます。本稿は,一部のクライアントが他のクライアントよりもはるかに少ない場合,安定したレベルの更新を集約することで,トレーニングプロセスに有害な影響を与えることを示す。私たちはFedStaleを紹介します。これは、参加するクライアントからの"フレッシュ"アップデートと、参加していないクライアントからの"ステア"アップデートの凸組み合わせによって、各ラウンドのグローバルモデルを更新する新しいアルゴリズムです。
論文参考訳（メタデータ） (2024-05-07T10:11:42Z)
FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文参考訳（メタデータ） (2024-02-10T18:14:57Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文参考訳（メタデータ） (2023-09-14T03:48:27Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Incentivizing Federated Learning [2.420324724613074]
本稿では,顧客に対して可能な限り多くのデータ提供を促すインセンティブメカニズムを提案する。従来のインセンティブメカニズムとは異なり、私たちのアプローチはデータを収益化しません。理論的には、ある条件下では、クライアントがフェデレーション学習に参加できる限り多くのデータを使用することを証明します。
論文参考訳（メタデータ） (2022-05-22T23:02:43Z)
Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
論文参考訳（メタデータ） (2022-01-10T05:31:07Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。