論文の概要: Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning
- arxiv url: http://arxiv.org/abs/2404.04490v1
- Date: Sat, 6 Apr 2024 03:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:58:47.877567
- Title: Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning
- Title（参考訳）: 制約付き多目的フェデレーション学習によるSecureBoostのハイパーパラメータ最適化
- Authors: Yan Kang, Ziyao Ren, Lixin Fan, Linghua Yang, Yongxin Tong, Qiang Yang,
- Abstract要約: SecureBoostとそのバリエーションのいくつかは,ラベルの漏洩に対して依然として脆弱であることに気付きました。
この脆弱性は、ユーティリティ、プライバシ、効率の中間的なトレードオフにつながる可能性がある。
最適解を近似する Constrained Multi-Objective SecureBoost (CMOSB) アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 26.00375717103131
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: SecureBoost is a tree-boosting algorithm that leverages homomorphic encryption (HE) to protect data privacy in vertical federated learning. SecureBoost and its variants have been widely adopted in fields such as finance and healthcare. However, the hyperparameters of SecureBoost are typically configured heuristically for optimizing model performance (i.e., utility) solely, assuming that privacy is secured. Our study found that SecureBoost and some of its variants are still vulnerable to label leakage. This vulnerability may lead the current heuristic hyperparameter configuration of SecureBoost to a suboptimal trade-off between utility, privacy, and efficiency, which are pivotal elements toward a trustworthy federated learning system. To address this issue, we propose the Constrained Multi-Objective SecureBoost (CMOSB) algorithm, which aims to approximate Pareto optimal solutions that each solution is a set of hyperparameters achieving an optimal trade-off between utility loss, training cost, and privacy leakage. We design measurements of the three objectives, including a novel label inference attack named instance clustering attack (ICA) to measure the privacy leakage of SecureBoost. Additionally, we provide two countermeasures against ICA. The experimental results demonstrate that the CMOSB yields superior hyperparameters over those optimized by grid search and Bayesian optimization regarding the trade-off between utility loss, training cost, and privacy leakage.
- Abstract（参考訳）: SecureBoostは、準同型暗号化(HE)を活用して、垂直連邦学習におけるデータのプライバシを保護するツリーブースティングアルゴリズムである。
SecureBoostとその変種は金融や医療などの分野で広く採用されている。
しかし、SecureBoostのハイパーパラメータは通常、プライバシが保護されていると仮定して、モデルパフォーマンス(すなわちユーティリティ)を最適化するためにヒューリスティックに設定される。
調査の結果、SecureBoostとその変種は、まだラベルの漏洩に弱いことが判明した。
この脆弱性は、SecureBoostの現在のヒューリスティックなハイパーパラメータ構成を、実用性、プライバシ、効率の亜最適トレードオフへと導く可能性がある。
この問題に対処するため,我々はParetoの最適解を最適化する Constrained Multi-Objective SecureBoost (CMOSB) アルゴリズムを提案する。
SecureBoostのプライバシリークを測定するために,ICA(インスタンスクラスタリング攻撃)と呼ばれる新しいラベル推論攻撃を含む3つの目的を設計する。
また、ICAに対して2つの対策を講じる。
実験により、CMOSBは、電力損失、トレーニングコスト、プライバシーリークの間のトレードオフに関して、グリッド探索やベイズ最適化によって最適化されたものよりも優れたハイパーパラメータが得られることが示された。
関連論文リスト
- TernaryVote: Differentially Private, Communication Efficient, and
Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。
提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
論文 参考訳（メタデータ） (2024-02-16T16:41:14Z) - PROFL: A Privacy-Preserving Federated Learning Method with Stringent
Defense Against Poisoning Attacks [2.6487166137163007]
Federated Learning(FL)は、プライバシー漏洩と中毒攻撃という2つの大きな問題に直面している。
本稿では,プライバシー保護のための新しいFLフレームワーク PROFL を提案する。
PROFLは2タラプドア追加の同型暗号化アルゴリズムとブラインド技術に基づいている。
論文 参考訳（メタデータ） (2023-12-02T06:34:37Z) - SecureBoost Hyperparameter Tuning via Multi-Objective Federated Learning [23.196686101682737]
SecureBoostは、準同型暗号化を活用して、垂直的なフェデレーション学習環境でデータのプライバシを保護するツリーブースティングアルゴリズムである。
SecureBoostは、高い計算複雑性とラベルリークのリスクに悩まされている。
最適解を求めるために,制約付き多目的SecureBoost (CMOSB) アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-20T04:45:59Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳（メタデータ） (2023-05-24T13:44:02Z) - Optimizing Privacy, Utility and Efficiency in Constrained
Multi-Objective Federated Learning [20.627157142499378]
我々はNSGA-IIとPSLに基づく2つの改良されたCMOFLアルゴリズムを開発した。
3つのプライバシ保護機構のための,プライバシリーク,ユーティリティ損失,トレーニングコストの具体的な測定を設計する。
3つの保護機構のそれぞれで実施した実証実験により,提案アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2023-04-29T17:55:38Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Meta-Learning Priors for Safe Bayesian Optimization [72.8349503901712]
メタ学習アルゴリズムであるF-PACOHを構築し,データ不足の設定において確実な定量化を実現する。
コアコントリビューションとして、安全に適合した事前をデータ駆動で選択するための新しいフレームワークを開発する。
ベンチマーク関数と高精度動作系において,我々のメタ学習先行が安全なBOアプローチの収束を加速することを示す。
論文 参考訳（メタデータ） (2022-10-03T08:38:38Z) - Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。
データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
論文 参考訳（メタデータ） (2022-05-08T14:38:23Z) - SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree [18.65547577691255]
本稿では,大規模かつ高性能な垂直配向勾配向上決定木フレームワークSecureBoost+を提案する。
SecureBoost+はSecureBoostと同じ半正直なモデルでセキュアである。
実験の結果、SecureBoost+はSecureBoostの6～35倍高速であるが、同じ精度で数千万のデータサンプルと数千の機能ディメンションまでスケールできることがわかった。
論文 参考訳（メタデータ） (2021-10-21T06:49:10Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳（メタデータ） (2021-02-18T12:30:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。