論文の概要: Incentivising the federation: gradient-based metrics for data selection and valuation in private decentralised training

• arxiv url: http://arxiv.org/abs/2305.02942v3
• Date: Tue, 16 Apr 2024 09:30:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 02:40:26.162627
• Title: Incentivising the federation: gradient-based metrics for data selection and valuation in private decentralised training
• Title（参考訳）: 個人分散トレーニングにおけるデータ選択と評価のためのグラデーションベースの指標
• Authors: Dmitrii Usynin, Daniel Rueckert, Georgios Kaissis,
• Abstract要約: 本研究では,個人トレーニングの参加者が共同学習モデルに最も有用なデータを選択するために,勾配情報を活用する方法について検討する。 これらの技術は、より厳密なプライバシー設定であっても、フェデレートされたクライアントに、原則化されたデータ選択のためのツールを提供することができることを示す。
• 参考スコア（独自算出の注目度）: 15.233103072063951
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Obtaining high-quality data for collaborative training of machine learning models can be a challenging task due to A) regulatory concerns and B) a lack of data owner incentives to participate. The first issue can be addressed through the combination of distributed machine learning techniques (e.g. federated learning) and privacy enhancing technologies (PET), such as the differentially private (DP) model training. The second challenge can be addressed by rewarding the participants for giving access to data which is beneficial to the training model, which is of particular importance in federated settings, where the data is unevenly distributed. However, DP noise can adversely affect the underrepresented and the atypical (yet often informative) data samples, making it difficult to assess their usefulness. In this work, we investigate how to leverage gradient information to permit the participants of private training settings to select the data most beneficial for the jointly trained model. We assess two such methods, namely variance of gradients (VoG) and the privacy loss-input susceptibility score (PLIS). We show that these techniques can provide the federated clients with tools for principled data selection even in stricter privacy settings.
• Abstract（参考訳）: 機械学習モデルの協調トレーニングのための高品質なデータを取得することは、(A)規制上の懸念と(B)データ所有者が参加するインセンティブの欠如のため、難しい作業になる可能性がある。 最初の問題は、分散機械学習技術(例えば、フェデレーション付き学習)と、差分プライベート(DP)モデルトレーニングのようなプライバシ強化技術(PET)を組み合わせることで解決できる。 2つ目の課題は、トレーニングモデルに有利なデータへのアクセスを参加者に与えることによって解決できる。 しかし、DPノイズは、表現不足や非定型的な(しばしば情報的)データサンプルに悪影響を及ぼす可能性があるため、その有用性を評価することは困難である。 本研究では,個人の学習環境の参加者が共同学習モデルに最も有用なデータを選択するために,勾配情報を活用する方法について検討する。 本研究では,勾配の分散(VoG)とプライバシ・ロス・インプット・サセプティビリティスコア(PLIS)の2つの手法を評価する。 これらの技術は、より厳密なプライバシー設定であっても、フェデレートされたクライアントに、原則化されたデータ選択のためのツールを提供することができることを示す。

関連論文リスト

• Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
  フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。 我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
  論文  参考訳（メタデータ） (2024-05-07T08:44:29Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
  我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
  論文  参考訳（メタデータ） (2023-12-23T03:31:46Z)
• Federated Learning for Early Dropout Prediction on Healthy Ageing Applications [0.0]
  我々は、プライバシの懸念を最小限に抑え、個々のデータを転送することなく分散トレーニングを可能にするフェデレーション機械学習(FML)アプローチを提案する。 その結果,FMLでトレーニングしたモデルの予測精度は,データ選択とクラス不均衡ハンドリング技術により有意に向上した。
  論文  参考訳（メタデータ） (2023-09-08T13:17:06Z)
• Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
  本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。 この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
  論文  参考訳（メタデータ） (2023-03-31T10:13:01Z)
• DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
  本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。 まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。 我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-03-30T13:14:54Z)
• FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
  フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。 我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。 特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
  論文  参考訳（メタデータ） (2023-02-15T03:42:59Z)
• Federated Multilingual Models for Medical Transcript Analysis [11.877236847857336]
  大規模多言語モデルを学習するための連合学習システムを提案する。 トレーニングデータはすべて、中央に送信されることはない。 本研究では,グローバルモデルの性能を,局所的に行うトレーニングステップによってさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-11-04T01:07:54Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
  実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。 多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。 既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
  論文  参考訳（メタデータ） (2021-11-07T15:14:29Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。