Fugu-MT 論文翻訳(概要): Leveraging gradient-derived metrics for data selection and valuation in differentially private training

論文の概要: Leveraging gradient-derived metrics for data selection and valuation in differentially private training

arxiv url: http://arxiv.org/abs/2305.02942v1
Date: Thu, 4 May 2023 15:44:56 GMT
ステータス: 処理完了
システム内更新日: 2023-05-05 14:57:45.025329
Title: Leveraging gradient-derived metrics for data selection and valuation in differentially private training
Title（参考訳）: 微分プライベートトレーニングにおけるデータ選択と評価のための勾配由来メトリクスの活用
Authors: Dmitrii Usynin, Daniel Rueckert, Giorgios Kaissis
Abstract要約: 個人のトレーニング設定に関心のあるトレーニングサンプルを識別するために、勾配情報を活用する方法を示す。厳密なプライバシ設定であっても,クライアントにデータ選択の原則を提供する技術が存在することを示す。
参考スコア（独自算出の注目度）: 7.49320945341034
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Obtaining high-quality data for collaborative training of machine learning models can be a challenging task due to A) the regulatory concerns and B) lack of incentive to participate. The first issue can be addressed through the use of privacy enhancing technologies (PET), one of the most frequently used one being differentially private (DP) training. The second challenge can be addressed by identifying which data points can be beneficial for model training and rewarding data owners for sharing this data. However, DP in deep learning typically adversely affects atypical (often informative) data samples, making it difficult to assess the usefulness of individual contributions. In this work we investigate how to leverage gradient information to identify training samples of interest in private training settings. We show that there exist techniques which are able to provide the clients with the tools for principled data selection even in strictest privacy settings.
Abstract（参考訳）: 機械学習モデルの協調トレーニングのための高品質なデータを得ることは、a)規制上の懸念とb)参加意欲の欠如のために難しい課題である。プライバシ強化技術(pet: privacy enhancement technologies)は、最も頻繁に使用されるもののひとつで、差分プライベート(diffially private、dp)トレーニングである。 2つ目の課題は、モデルトレーニングにどのデータポイントが有用かを特定し、データ共有にデータ所有者に報奨を与えることである。しかし、深層学習におけるdpは典型的には非定型的(しばしば有益な)データサンプルに悪影響を及ぼすため、個々の貢献の有用性を評価することは困難である。本研究では,個人の学習環境に関心のあるトレーニングサンプルを特定するために,勾配情報を活用する方法について検討する。最も厳格なプライバシー設定でも、クライアントに原則的なデータ選択ツールを提供することのできる技術があることを実証する。

関連論文リスト

Ranking-based Client Selection with Imitation Learning for Efficient Federated Learning [20.412469498888292]
フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。各トレーニングラウンドにおける参加デバイスの選択は、モデル性能とトレーニング効率の両方に重大な影響を及ぼす。我々は、エンドツーエンドのランキングベースのアプローチであるFedRankという新しいデバイス選択ソリューションを導入する。
論文参考訳（メタデータ） (2024-05-07T08:44:29Z)
FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
論文参考訳（メタデータ） (2024-03-10T08:41:22Z)
Personalized Federated Learning with Attention-based Client Selection [57.71009302168411]
我々は,意図に基づくクライアント選択機構を備えた新しいPFLアルゴリズムであるFedACSを提案する。 FedACSは、類似したデータ分散を持つクライアント間のコラボレーションを強化するためのアテンションメカニズムを統合している。 CIFAR10とFMNISTの実験は、FedACSの優位性を検証する。
論文参考訳（メタデータ） (2023-12-23T03:31:46Z)
Federated Learning for Early Dropout Prediction on Healthy Ageing Applications [0.0]
我々は、プライバシの懸念を最小限に抑え、個々のデータを転送することなく分散トレーニングを可能にするフェデレーション機械学習(FML)アプローチを提案する。その結果,FMLでトレーニングしたモデルの予測精度は,データ選択とクラス不均衡ハンドリング技術により有意に向上した。
論文参考訳（メタデータ） (2023-09-08T13:17:06Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文参考訳（メタデータ） (2023-03-30T13:14:54Z)
FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文参考訳（メタデータ） (2023-02-15T03:42:59Z)
Federated Multilingual Models for Medical Transcript Analysis [11.877236847857336]
大規模多言語モデルを学習するための連合学習システムを提案する。トレーニングデータはすべて、中央に送信されることはない。本研究では,グローバルモデルの性能を,局所的に行うトレーニングステップによってさらに向上させることができることを示す。
論文参考訳（メタデータ） (2022-11-04T01:07:54Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
DQRE-SCnet: A novel hybrid approach for selecting users in Federated Learning with Deep-Q-Reinforcement Learning based on Spectral Clustering [1.174402845822043]
実世界の機密データに基づく機械学習モデルは、医療スクリーニングから病気の発生、農業、産業、防衛科学など幅広い分野で進歩している。多くのアプリケーションにおいて、学習参加者のコミュニケーションラウンドは、独自のプライベートデータセットを収集し、実際のデータに対して詳細な機械学習モデルを教え、これらのモデルを使用することの利点を共有することの恩恵を受ける。既存のプライバシとセキュリティ上の懸念から、ほとんどの人はトレーニング用の機密データ共有を回避している。各ユーザがローカルデータを中央サーバにデモしない限り、フェデレートラーニングは、さまざまなパーティが共用データ上で機械学習アルゴリズムをトレーニングすることを可能にする。
論文参考訳（メタデータ） (2021-11-07T15:14:29Z)
Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。生徒は、合成された入力データを通じて教師の出力を訓練する。その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文参考訳（メタデータ） (2021-02-01T14:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。