論文の概要: Model-sharing Games: Analyzing Federated Learning Under Voluntary Participation

• arxiv url: http://arxiv.org/abs/2010.00753v3
• Date: Thu, 17 Dec 2020 14:41:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 02:26:17.627729
• Title: Model-sharing Games: Analyzing Federated Learning Under Voluntary Participation
• Title（参考訳）: モデル共有ゲーム:自発参加下での連合学習の分析
• Authors: Kate Donahue and Jon Kleinberg
• Abstract要約: フェデレートラーニング(Federated Learning)とは,各エージェントが自身のデータソースにアクセスして,ローカルデータからモデルを組み合わせてグローバルモデルを生成する,という設定である。 つまりエージェントは,グローバルモデルやローカルモデルを選択するべきか,という根本的な問題に直面しているのです。 本稿では,この状況を連立ゲーム理論の枠組みを通じて自然に分析する方法について述べる。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a setting where agents, each with access to their own data source, combine models from local data to create a global model. If agents are drawing their data from different distributions, though, federated learning might produce a biased global model that is not optimal for each agent. This means that agents face a fundamental question: should they choose the global model or their local model? We show how this situation can be naturally analyzed through the framework of coalitional game theory. We propose the following game: there are heterogeneous players with different model parameters governing their data distribution and different amounts of data they have noisily drawn from their own distribution. Each player's goal is to obtain a model with minimal expected mean squared error (MSE) on their own distribution. They have a choice of fitting a model based solely on their own data, or combining their learned parameters with those of some subset of the other players. Combining models reduces the variance component of their error through access to more data, but increases the bias because of the heterogeneity of distributions. Here, we derive exact expected MSE values for problems in linear regression and mean estimation. We then analyze the resulting game in the framework of hedonic game theory; we study how players might divide into coalitions, where each set of players within a coalition jointly construct model(s). We analyze three methods of federation, modeling differing degrees of customization. In uniform federation, the agents collectively produce a single model. In coarse-grained federation, each agent can weight the global model together with their local model. In fine-grained federation, each agent can flexibly combine models from all other agents in the federation. For each method, we analyze the stable partitions of players into coalitions.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、エージェントがそれぞれのデータソースにアクセスし、ローカルデータからモデルを組み合わせてグローバルモデルを作成するための設定である。 しかし、エージェントが異なる分布からデータを引き出している場合、連合学習はそれぞれのエージェントに最適ではない偏りのあるグローバルモデルを生成するかもしれない。 つまりエージェントは,グローバルモデルやローカルモデルを選択するべきか,という根本的な問題に直面しているのです。 この状況は連立ゲーム理論の枠組みによって自然に分析できることを示す。 異なるモデルパラメータを持つ不均質なプレイヤーが、彼らのデータ分布と、彼らが自分たちの分散から異常に引き出した異なる量のデータを支配している。 各プレイヤーのゴールは、最小限の期待平均二乗誤差(MSE)を持つモデルを得ることである。 彼らは自身のデータのみに基づいたモデルに適合するか、学習したパラメータと他のプレイヤーのサブセットのパラメータを組み合わせるかを選択できる。 モデルを組み合わせることで、より多くのデータにアクセスすることでエラーの分散成分が減少するが、分布の不均一性のためにバイアスが増加する。 ここでは線形回帰と平均推定における問題に対する正確なMSE値を導出する。 次に, ヘドニックゲーム理論(hedonic game theory)の枠組みを用いて, 結果ゲームの解析を行い, プレイヤーが連立モデル(s)を構成する各プレイヤー群にどのように分割するかを検討した。 異なるカスタマイズ度をモデル化する3つのフェデレーションの手法を分析した。 統一連合では、エージェントは集合的に単一のモデルを生成する。 粒度の粗いフェデレーションでは、各エージェントはローカルモデルとともにグローバルモデルを重み付けすることができる。 微細なフェデレーションでは、各エージェントは、フェデレーション内の他のすべてのエージェントのモデルを柔軟に組み合わせることができる。 各方法について,プレイヤーの安定な分割を連立に分析する。

関連論文リスト

• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning [5.882234707363695]
  Fed-ensembleがFederated Learning(FL)にモデルアンサンブルをもたらす フェデアンサンブルは確立されたFL法で容易に利用することができる。
  論文  参考訳（メタデータ） (2021-07-21T14:40:14Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。