Fugu-MT 論文翻訳(概要): SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree

論文の概要: SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree

arxiv url: http://arxiv.org/abs/2110.10927v5
Date: Wed, 19 Jun 2024 02:45:59 GMT
ステータス: 処理完了
システム内更新日: 2024-06-22 11:37:45.634941
Title: SecureBoost+: Large Scale and High-Performance Vertical Federated Gradient Boosting Decision Tree
Title（参考訳）: SecureBoost+:大規模かつ高性能な垂直拡散勾配ブースト決定木
Authors: Tao Fan, Weijing Chen, Guoqiang Ma, Yan Kang, Lixin Fan, Qiang Yang,
Abstract要約: 本稿では,大規模かつ高性能な垂直配向勾配向上決定木フレームワークSecureBoost+を提案する。 SecureBoost+はSecureBoostと同じ半正直なモデルでセキュアである。実験の結果、SecureBoost+はSecureBoostの6～35倍高速であるが、同じ精度で数千万のデータサンプルと数千の機能ディメンションまでスケールできることがわかった。
参考スコア（独自算出の注目度）: 18.65547577691255
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient boosting decision tree (GBDT) is an ensemble machine learning algorithm, which is widely used in industry, due to its good performance and easy interpretation. Due to the problem of data isolation and the requirement of privacy, many works try to use vertical federated learning to train machine learning models collaboratively with privacy guarantees between different data owners. SecureBoost is one of the most popular vertical federated learning algorithms for GBDT. However, in order to achieve privacy preservation, SecureBoost involves complex training procedures and time-consuming cryptography operations. This causes SecureBoost to be slow to train and does not scale to large scale data. In this work, we propose SecureBoost+, a large-scale and high-performance vertical federated gradient boosting decision tree framework. SecureBoost+ is secure in the semi-honest model, which is the same as SecureBoost. SecureBoost+ can be scaled up to tens of millions of data samples easily. SecureBoost+ achieves high performance through several novel optimizations for SecureBoost, including ciphertext operation optimization, the introduction of new training mechanisms, and multi-classification training optimization. The experimental results show that SecureBoost+ is 6-35x faster than SecureBoost, but with the same accuracy and can be scaled up to tens of millions of data samples and thousands of feature dimensions.
Abstract（参考訳）: グラディエントブースティング決定木(GBDT)は、業界で広く使われているアンサンブル機械学習アルゴリズムである。データ分離の問題とプライバシの要件のため、多くの研究は、垂直連合学習を使用して、異なるデータ所有者間のプライバシ保証と協調して機械学習モデルをトレーニングしようと試みている。 SecureBoostは、GBDTのための最も人気のある垂直連邦学習アルゴリズムの1つである。しかし、プライバシー保護を達成するために、SecureBoostは複雑なトレーニング手順と時間を要する暗号操作を必要とする。これによりSecureBoostは、トレーニングが遅く、大規模データにスケールしない。本研究では,大規模かつ高性能な垂直配向勾配促進決定木フレームワークSecureBoost+を提案する。 SecureBoost+はSecureBoostと同じ半正直なモデルでセキュアである。 SecureBoost+は数千万のデータサンプルに簡単にスケールできる。 SecureBoost+は、暗号文操作の最適化、新しいトレーニングメカニズムの導入、マルチクラス化トレーニングの最適化など、SecureBoostのいくつかの新しい最適化を通じて、ハイパフォーマンスを実現している。実験の結果、SecureBoost+はSecureBoostの6～35倍高速であるが、同じ精度で数千万のデータサンプルと数千の機能ディメンションまでスケールできることがわかった。

関連論文リスト

How to Boost Any Loss Function [63.573324901948716]
損失関数はブースティングにより最適化可能であることを示す。また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
論文参考訳（メタデータ） (2024-07-02T14:08:23Z)
Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning [26.00375717103131]
SecureBoostとそのバリエーションのいくつかは,ラベルの漏洩に対して依然として脆弱であることに気付きました。この脆弱性は、ユーティリティ、プライバシ、効率の中間的なトレードオフにつながる可能性がある。最適解を近似する Constrained Multi-Objective SecureBoost (CMOSB) アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-04-06T03:46:42Z)
SecureBoost Hyperparameter Tuning via Multi-Objective Federated Learning [23.196686101682737]
SecureBoostは、準同型暗号化を活用して、垂直的なフェデレーション学習環境でデータのプライバシを保護するツリーブースティングアルゴリズムである。 SecureBoostは、高い計算複雑性とラベルリークのリスクに悩まされている。最適解を求めるために,制約付き多目的SecureBoost (CMOSB) アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-07-20T04:45:59Z)
PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
論文参考訳（メタデータ） (2022-12-19T06:04:54Z)
SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems [3.04585143845864]
Gradient Boosted Decision Tree (GBDT)は、広く使われている機械学習アルゴリズムである。本稿では,多出力シナリオにおけるGBDTのトレーニングプロセスの高速化を目的とした新しい手法を提案する。私たちの数値研究は、SketchBoostがGBDTのトレーニングプロセスを最大40倍高速化することを示している。
論文参考訳（メタデータ） (2022-11-23T11:06:10Z)
OpBoost: A Vertical Federated Tree Boosting Framework Based on Order-Preserving Desensitization [26.386265547513887]
Vertical Federated Learning(FL)は、同じデータサンプルの非重複属性を持つユーザが、生データを共有することなく、共同でモデルをトレーニングできる新しいパラダイムである。最近の研究は、トレーニングプロセスやトレーニングされたモデルからプライバシーが漏洩するのを防ぐのに、まだ不十分であることを示しています。本稿では,垂直FL下でのプライバシー保護木増進アルゴリズムの研究に焦点をあてる。
論文参考訳（メタデータ） (2022-10-04T02:21:18Z)
Boosting as Frank-Wolfe [0.6875312133832078]
フランク=ウルフアルゴリズムと任意の二次アルゴリズムを組み合わせた汎用的なブースティング手法を提案する。 ERLPBoost や C-ERLPBoost と同じ収束保証を維持していることを示す。
論文参考訳（メタデータ） (2022-09-22T07:36:55Z)
PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning [57.66155242473784]
弱教師付き学習(WSL)は,多くのNLPタスクにおいてラベル不足に対処する上で有望な結果を示した。提案モデルであるPRBoostは、反復的なプロンプトベースのルール発見とモデル強化によってこの目標を達成する。 4つのタスクの実験では、PRBoostは最先端のWSLベースラインを7.1%まで上回っている。
論文参考訳（メタデータ） (2022-03-18T04:23:20Z)
Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文参考訳（メタデータ） (2021-02-18T12:30:49Z)
Soft Gradient Boosting Machine [72.54062017726154]
複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:43:23Z)
On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。