論文の概要: Data-Free Evaluation of User Contributions in Federated Learning
- arxiv url: http://arxiv.org/abs/2108.10623v1
- Date: Tue, 24 Aug 2021 10:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 14:08:25.037974
- Title: Data-Free Evaluation of User Contributions in Federated Learning
- Title(参考訳): フェデレーション学習におけるユーザ貢献度データフリー評価
- Authors: Hongtao Lv, Zhenzhe Zheng, Tie Luo, Fan Wu, Shaojie Tang, Lifeng Hua,
Rongfei Jia, Chengfei Lv
- Abstract要約: Federated Learning (FL)は、モバイルデバイス上の機械学習モデルを、各デバイスのプライベートデータとコンピューティングリソースを使用して分散的にトレーニングする。
テストデータセットを使わずにFLにおけるユーザコントリビューションを評価するためのピア予測のアイデアに基づくPairwise Correlated Agreement (PCA) という手法を提案する。
次に,(1)Fed-PCAと呼ばれる新しいフェデレーション学習アルゴリズム,(2)真性を保証する新たなインセンティブメカニズムを設計に適用する。
- 参考スコア(独自算出の注目度): 31.181141140071592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) trains a machine learning model on mobile devices in
a distributed manner using each device's private data and computing resources.
A critical issues is to evaluate individual users' contributions so that (1)
users' effort in model training can be compensated with proper incentives and
(2) malicious and low-quality users can be detected and removed. The
state-of-the-art solutions require a representative test dataset for the
evaluation purpose, but such a dataset is often unavailable and hard to
synthesize. In this paper, we propose a method called Pairwise Correlated
Agreement (PCA) based on the idea of peer prediction to evaluate user
contribution in FL without a test dataset. PCA achieves this using the
statistical correlation of the model parameters uploaded by users. We then
apply PCA to designing (1) a new federated learning algorithm called Fed-PCA,
and (2) a new incentive mechanism that guarantees truthfulness. We evaluate the
performance of PCA and Fed-PCA using the MNIST dataset and a large industrial
product recommendation dataset. The results demonstrate that our Fed-PCA
outperforms the canonical FedAvg algorithm and other baseline methods in
accuracy, and at the same time, PCA effectively incentivizes users to behave
truthfully.
- Abstract(参考訳): Federated Learning (FL)は、モバイルデバイス上の機械学習モデルを、各デバイスのプライベートデータとコンピューティングリソースを使用して分散的にトレーニングする。
重要な問題は,(1)モデルトレーニングにおけるユーザの努力を適切なインセンティブで補償し,(2)悪意のある低品質ユーザの検出と削除を可能にするために,個々のユーザの貢献を評価することである。
最先端のソリューションは評価目的のために代表的なテストデータセットを必要とするが、そのようなデータセットはしばしば利用できず、合成も困難である。
本稿では,テストデータセットを使わずにflにおけるユーザの貢献度を評価するピア予測の考え方に基づいて,ペアワイズ相関合意(pca)と呼ばれる手法を提案する。
pcaはユーザーがアップロードしたモデルパラメータの統計相関を用いてこれを達成する。
次に,(1)Fed-PCAと呼ばれる新しいフェデレーション学習アルゴリズム,(2)真性を保証する新たなインセンティブメカニズムを設計に適用する。
MNISTデータセットと大規模産業製品レコメンデーションデータセットを用いてPCAとFed-PCAの性能を評価する。
その結果、我々のFed-PCAは標準のFedAvgアルゴリズムや他のベースライン手法を精度良く上回り、同時にPCAはユーザーが真実に振る舞うことを効果的に動機づけることを示した。
関連論文リスト
- Low-Cost High-Power Membership Inference Attacks [17.128537906121355]
メンバシップ推論攻撃は、機械学習モデルのトレーニングに特定のデータポイントを使用したかどうかを検出することを目的としている。
近年の強力な攻撃は計算コストが高く、様々な条件下では不整合性があり、実際のプライバシーリスク評価には信頼性が低い。
我々は,計算オーバーヘッドを最小限に抑えながら,人口データとモデルのトレーニングデータとを正確に区別する,新しい,効率的で堅牢なメンバシップ推論攻撃(RMIA)を設計する。
論文 参考訳(メタデータ) (2023-12-06T03:18:49Z) - Sample Complexity of Preference-Based Nonparametric Off-Policy
Evaluation with Deep Networks [58.469818546042696]
我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。
ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
論文 参考訳(メタデータ) (2023-10-16T16:27:06Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳(メタデータ) (2023-03-11T11:42:26Z) - Efficient fair PCA for fair representation learning [21.990310743597174]
そこで本研究では,標準的なPCAに類似した解析解をカーネル化可能な,概念的にシンプルなアプローチを提案する。
提案手法は,標準PCAやカーネルPCAと同じ複雑さを持ち,半定値プログラミングや多様体最適化に基づく等価PCAの既存手法よりもはるかに高速に動作する。
論文 参考訳(メタデータ) (2023-02-26T13:34:43Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。
本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。
理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
論文 参考訳(メタデータ) (2022-01-31T20:58:47Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - FAST-PCA: A Fast and Exact Algorithm for Distributed Principal Component
Analysis [12.91948651812873]
主成分分析(PCA)は、機械学習の世界における基本的なデータ前処理ツールである。
本稿では,FAST-PCA (Fast and exact distributed PCA) と呼ばれる分散PCAアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-08-27T16:10:59Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳(メタデータ) (2021-06-18T15:52:33Z) - Estimation of Individual Device Contributions for Incentivizing
Federated Learning [8.426678774799859]
Federated Learning(FL)は、モバイルデバイスのデータと計算リソースを使用して、機械学習モデルを協調的にトレーニングするために使用される新興技術である。
本稿では,参加端末のコントリビューションレベルを推定する計算・通信効率の手法を提案する。
論文 参考訳(メタデータ) (2020-09-20T07:03:27Z) - Privacy Preserving PCA for Multiparty Modeling [21.33430578478244]
PPPCAは、平文データをローカルに保持する前提で、PCAの多人数共同実行を実現することができる。
PPPCAの出力は、データコンシューマに直接送信して、任意の機械学習モデルを構築することができる。
PPPCA 上に構築したモデルの精度は,集中型データに基づいて構築された PCA モデルと同一であることを示す。
論文 参考訳(メタデータ) (2020-02-06T04:16:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。