論文の概要: Achieving Model Fairness in Vertical Federated Learning
- arxiv url: http://arxiv.org/abs/2109.08344v1
- Date: Fri, 17 Sep 2021 04:40:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 14:35:50.169605
- Title: Achieving Model Fairness in Vertical Federated Learning
- Title(参考訳): 垂直連合学習におけるモデルフェアネスの達成
- Authors: Changxin Liu Zirui Zhou Yang Shi, Jian Pei, Lingyang Chu, Yong Zhang
- Abstract要約: 垂直連合学習(VFL)は、複数の企業が重複しない機能を保有して、プライベートデータやモデルパラメータを開示することなく、機械学習モデルを強化することを可能にする。
VFLは公平性の問題に悩まされており、すなわち、学習されたモデルはセンシティブな属性を持つグループに対して不公平に差別的である可能性がある。
この問題に対処するための公平なVFLフレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.8598060954355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vertical federated learning (VFL), which enables multiple enterprises
possessing non-overlapped features to strengthen their machine learning models
without disclosing their private data and model parameters, has received
increasing attention lately. Similar to other machine learning algorithms, VFL
suffers from fairness issues, i.e., the learned model may be unfairly
discriminatory over the group with sensitive attributes. To tackle this
problem, we propose a fair VFL framework in this work. First, we systematically
formulate the problem of training fair models in VFL, where the learning task
is modeled as a constrained optimization problem. To solve it in a federated
manner, we consider its equivalent dual form and develop an asynchronous
gradient coordinate-descent ascent algorithm, where each data party performs
multiple parallelized local updates per communication round to effectively
reduce the number of communication rounds. We prove that the algorithm finds a
$\delta$-stationary point of the dual objective in $\mathcal{O}(\delta^{-4})$
communication rounds under mild conditions. Finally, extensive experiments on
three benchmark datasets demonstrate the superior performance of our method in
training fair models.
- Abstract(参考訳): 重複しない機能を持つ複数の企業がプライベートデータやモデルパラメータを公開せずに機械学習モデルを強化できる垂直連合学習(VFL)が最近注目を集めている。
他の機械学習アルゴリズムと同様に、VFLは公平性の問題に悩まされる。
この問題に取り組むため,本研究では,公正なvflフレームワークを提案する。
まず,学習課題を制約付き最適化問題としてモデル化する,VFLにおける公正モデルトレーニングの問題を体系的に定式化する。
これを解決するために、同値な二重形式を考慮し、各データパーティが通信ラウンド毎に複数の並列化ローカル更新を実行し、通信ラウンドの数を効果的に削減する非同期勾配座標差上昇アルゴリズムを開発する。
このアルゴリズムは, 弱条件下での通信ラウンドにおいて, 二重目的物の$\delta$-stationary 点が$\mathcal{O}(\delta^{-4})$であることを示す。
最後に、3つのベンチマークデータセットに対する広範な実験により、フェアモデルのトレーニングにおいて、我々の手法の優れた性能を示す。
関連論文リスト
- NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants [23.664515443297674]
そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
論文 参考訳(メタデータ) (2023-07-29T02:35:37Z) - GLASU: A Communication-Efficient Algorithm for Federated Learning with
Vertically Distributed Graph Data [44.02629656473639]
本稿では,クライアントとサーバ間でバックボーンGNNを分割するモデル分割手法と通信効率のよいGLASUを提案する。
提案アルゴリズムは,実世界のデータセットに対する理論的解析と広範な数値実験を行い,中央集権的な学習を行うと,バックボーンのGNNと性能が一致するGNNモデルを効果的に訓練することを示した。
論文 参考訳(メタデータ) (2023-03-16T17:47:55Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - CoFED: Cross-silo Heterogeneous Federated Multi-task Learning via
Co-training [11.198612582299813]
Federated Learning(FL)は、参加者がプライベートデータを交換することなく、高品質なモデルを協調的にトレーニングできる機械学習技術である。
擬似ラベル付き未ラベルデータに基づく通信効率の高いFLスキームであるCoFEDを提案する。
実験結果から,CoFEDは通信コストの低減を図った。
論文 参考訳(メタデータ) (2022-02-17T11:34:20Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。