論文の概要: Evaluating and Incentivizing Diverse Data Contributions in Collaborative Learning

• arxiv url: http://arxiv.org/abs/2306.05592v1
• Date: Thu, 8 Jun 2023 23:38:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 15:17:37.678327
• Title: Evaluating and Incentivizing Diverse Data Contributions in Collaborative Learning
• Title（参考訳）: 協調学習における多様なデータ貢献の評価とインセンティブ
• Authors: Baihe Huang, Sai Praneeth Karimireddy, Michael I. Jordan
• Abstract要約: フェデレートされた学習モデルがうまく機能するためには、多様で代表的なデータセットを持つことが不可欠である。 データの多様性を定量化するために用いられる統計的基準と、使用するフェデレート学習アルゴリズムの選択が、結果の平衡に有意な影響を及ぼすことを示す。 我々はこれを活用して、データ収集者がグローバルな人口を代表するデータに貢献することを奨励する、シンプルな最適なフェデレーション学習機構を設計する。
• 参考スコア（独自算出の注目度）: 89.21177894013225
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: For a federated learning model to perform well, it is crucial to have a diverse and representative dataset. However, the data contributors may only be concerned with the performance on a specific subset of the population, which may not reflect the diversity of the wider population. This creates a tension between the principal (the FL platform designer) who cares about global performance and the agents (the data collectors) who care about local performance. In this work, we formulate this tension as a game between the principal and multiple agents, and focus on the linear experiment design problem to formally study their interaction. We show that the statistical criterion used to quantify the diversity of the data, as well as the choice of the federated learning algorithm used, has a significant effect on the resulting equilibrium. We leverage this to design simple optimal federated learning mechanisms that encourage data collectors to contribute data representative of the global population, thereby maximizing global performance.
• Abstract（参考訳）: 連合学習モデルがうまく機能するためには、多様で代表的なデータセットを持つことが不可欠である。 しかし、データコントリビュータは、より広い人口の多様性を反映しない、人口の特定のサブセットのパフォーマンスにのみ関係している可能性がある。 これにより、グローバルパフォーマンスを気にするプリンシパル(FLプラットフォームデザイナ)と、ローカルパフォーマンスを気にするエージェント(データコレクタ)との間に緊張が生じます。 本研究では,この緊張関係を主エージェントと複数エージェントのゲームとして定式化し,その相互作用を形式的に研究するための線形実験設計問題に焦点をあてる。 本研究では,データの多様性を定量化するために用いられる統計的基準と,使用するフェデレーション学習アルゴリズムの選択が,結果の平衡に有意な影響を与えていることを示す。 これを利用して、データコレクターがグローバル人口を代表するデータに寄与することを奨励し、グローバルなパフォーマンスを最大化する、単純な最適なフェデレーション学習メカニズムを設計する。

関連論文リスト

• FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
  Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。 広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。 本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:44:28Z)
• Personalized Federated Learning with Feature Alignment and Classifier Collaboration [13.320381377599245]
  データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。 ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。 本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2023-06-20T19:58:58Z)
• Decentralized Learning with Multi-Headed Distillation [12.90857834791378]
  プライベートデータによる分散学習は、機械学習の中心的な問題である。 本研究では, 個別の非IDデータを持つ複数のエージェントが相互に学習できる, 蒸留に基づく分散学習手法を提案する。
  論文  参考訳（メタデータ） (2022-11-28T21:01:43Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FLIS: Clustered Federated Learning via Inference Similarity for Non-IID Data Distribution [7.924081556869144]
  本稿では,クライアント集団をクラスタにグループ化し,共同でトレーニング可能なデータ配信を行う新しいアルゴリズムFLISを提案する。 CIFAR-100/10, SVHN, FMNISTデータセット上の最先端ベンチマークに対するFLISの利点を示す実験結果を示す。
  論文  参考訳（メタデータ） (2022-08-20T22:10:48Z)
• Federated Mixture of Experts [94.25278695272874]
  FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。 類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:15:24Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Representation Matters: Assessing the Importance of Subgroup Allocations in Training Data [85.43008636875345]
  訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。 分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
  論文  参考訳（メタデータ） (2021-03-05T00:27:08Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。