論文の概要: FederBoost: Private Federated Learning for GBDT
- arxiv url: http://arxiv.org/abs/2011.02796v4
- Date: Thu, 27 Feb 2025 11:38:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 14:52:08.293032
- Title: FederBoost: Private Federated Learning for GBDT
- Title（参考訳）: FederBoost: GBDTのプライベートフェデレーション学習
- Authors: Zhihua Tian, Rui Zhang, Xiaoyang Hou, Lingjuan Lyu, Tianyi Zhang, Jian Liu, Kui Ren,
- Abstract要約: フェデレートラーニング(FL)は、機械学習と人工知能において、新たなトレンドとなっている。
我々は,勾配促進決定木(GBDT)の個人的学習のためのFederBoostというフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 45.903895659670674
- License:
- Abstract: Federated Learning (FL) has been an emerging trend in machine learning and artificial intelligence. It allows multiple participants to collaboratively train a better global model and offers a privacy-aware paradigm for model training since it does not require participants to release their original training data. However, existing FL solutions for vertically partitioned data or decision trees require heavy cryptographic operations. In this paper, we propose a framework named FederBoost for private federated learning of gradient boosting decision trees (GBDT). It supports running GBDT over both vertically and horizontally partitioned data. Vertical FederBoost does not require any cryptographic operation and horizontal FederBoost only requires lightweight secure aggregation. The key observation is that the whole training process of GBDT relies on the ordering of the data instead of the values. We fully implement FederBoost and evaluate its utility and efficiency through extensive experiments performed on three public datasets. Our experimental results show that both vertical and horizontal FederBoost achieve the same level of accuracy with centralized training where all data are collected in a central server, and they are 4-5 orders of magnitude faster than the state-of-the-art solutions for federated decision tree training; hence offering practical solutions for industrial applications.
- Abstract（参考訳）: フェデレートラーニング(FL)は、機械学習と人工知能において、新たなトレンドとなっている。
複数の参加者が協力してより良いグローバルモデルをトレーニングし、モデルのトレーニングにプライバシを意識したパラダイムを提供する。
しかし、垂直に分割されたデータや決定木に対する既存のFLソリューションは、重い暗号処理を必要とする。
本稿では,勾配向上決定木(GBDT)を個人で学習するためのFederBoostというフレームワークを提案する。
垂直および水平に分割されたデータ上でGBDTを実行することができる。
垂直型FederBoostは暗号化操作を一切必要とせず、水平型FederBoostは軽量なセキュアアグリゲーションのみを必要とする。
鍵となる観察は、GBDTのトレーニングプロセス全体が、値ではなくデータの順序に依存することである。
FederBoostを完全に実装し、3つの公開データセットで実施された広範な実験を通じて、その実用性と効率性を評価します。
実験の結果, 垂直および水平のFederBoostは, 全データを中央サーバで収集する集中型トレーニングと同程度の精度を達成でき, フェデレーションツリートレーニングの最先端ソリューションよりも4～5桁高速であることがわかった。
関連論文リスト
- Vertical Federated Learning Hybrid Local Pre-training [4.31644387824845]
垂直フェデレート学習(VFL)のための新しいVFLハイブリッド局所事前学習(VFLHLP)手法を提案する。
VFLHLPはまず、参加者のローカルデータに基づいて、ローカルネットワークを事前訓練する。
そして、これらの事前学習ネットワークを使用して、ラベル付きパーティのサブモデルを調整するか、あるいは、アライメントされたデータ上で下流のフェデレーション学習中に、他のパーティの表現学習を強化する。
論文 参考訳（メタデータ） (2024-05-20T08:57:39Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates [17.68344542462656]
我々は水平連合XGBoostのための革新的なフレームワークを開発する。
集約された木の集合の学習率を学習可能にすることにより、プライバシーとコミュニケーションの効率を同時に向上させる。
提案手法は最先端手法に匹敵する性能を実現し,通信ラウンドと通信オーバヘッドの両方を25倍から700倍の範囲で低減することで,通信効率を効果的に向上する。
論文 参考訳（メタデータ） (2023-04-15T11:48:18Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳（メタデータ） (2023-02-24T14:27:41Z) - FedABC: Targeting Fair Competition in Personalized Federated Learning [76.9646903596757]
フェデレートラーニングは、クライアントのローカルプライベートデータにアクセスすることなく、モデルを協調的にトレーニングすることを目的としている。
我々はFedABCと呼ばれるバイナリ分類によるFederated Averagingと呼ばれる新規で汎用的なPFLフレームワークを提案する。
特に、各クライアントに1対1のトレーニング戦略を採用して、クラス間の不公平な競争を軽減する。
論文 参考訳（メタデータ） (2023-02-15T03:42:59Z) - FedGBF: An efficient vertical federated learning framework via gradient
boosting and bagging [14.241194034190304]
我々は、FedGBF(Federated Gradient Boosting Forest)と呼ばれる垂直連合環境における新しいモデルを提案する。
FedGBFは、強化のためのベースラーナとして、決定木を並列に構築することで、ブースティングとバッグングの優先順位を同時に統合する。
また,各森林のパラメータを動的に変化させ,複雑さを低減させる動的FedGBFを提案する。
論文 参考訳（メタデータ） (2022-04-03T03:03:34Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - A Vertical Federated Learning Framework for Horizontally Partitioned
Labels [12.433809611989155]
既存の垂直連合学習法の多くは、少なくとも一方が全てのデータサンプルのラベルの完全なセットを保持しているという強い仮定を持っている。
既存の垂直統合学習手法は部分ラベルしか利用できないため、エンドツーエンドのバックプロパゲーションにおいてモデル更新が不十分になる可能性がある。
本稿では,すべての水平分割ラベルをフル活用してニューラルネットワークをプライバシ保護でトレーニングする,Cascade Vertical Federated Learning (CVFL) という,新しい縦型フェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-18T11:10:11Z) - Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning [10.893840244877568]
Federated Learning(FL)は、複数のパーティ間でデータを共有せずに、モデルを共同でトレーニングするアプローチです。
コンシューマのドメインでも、個人データを保護するためにも、データ管理規則やデータサイロの実用性を扱うエンタープライズ設定でも使用されています。
本稿では,データ暗号化を必要とせず,パーティ適応ヒストグラム集計手法を用いた勾配ブースティングの新たな実装を提案する。
論文 参考訳（メタデータ） (2020-12-11T23:01:35Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。