論文の概要: FedGBF: An efficient vertical federated learning framework via gradient
boosting and bagging
- arxiv url: http://arxiv.org/abs/2204.00976v1
- Date: Sun, 3 Apr 2022 03:03:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 14:15:30.882827
- Title: FedGBF: An efficient vertical federated learning framework via gradient
boosting and bagging
- Title(参考訳): fedgbf:グラデーションブースティングとバッキングによる効率的な垂直フェデレーション学習フレームワーク
- Authors: Yujin Han, Pan Du, Kai Yang
- Abstract要約: 我々は、FedGBF(Federated Gradient Boosting Forest)と呼ばれる垂直連合環境における新しいモデルを提案する。
FedGBFは、強化のためのベースラーナとして、決定木を並列に構築することで、ブースティングとバッグングの優先順位を同時に統合する。
また,各森林のパラメータを動的に変化させ,複雑さを低減させる動的FedGBFを提案する。
- 参考スコア(独自算出の注目度): 14.241194034190304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning, conducive to solving data privacy and security problems,
has attracted increasing attention recently. However, the existing federated
boosting model sequentially builds a decision tree model with the weak base
learner, resulting in redundant boosting steps and high interactive
communication costs. In contrast, the federated bagging model saves time by
building multi-decision trees in parallel, but it suffers from performance
loss. With the aim of obtaining an outstanding performance with less time cost,
we propose a novel model in a vertically federated setting termed as Federated
Gradient Boosting Forest (FedGBF). FedGBF simultaneously integrates the
boosting and bagging's preponderance by building the decision trees in parallel
as a base learner for boosting. Subsequent to FedGBF, the problem of
hyperparameters tuning is rising. Then we propose the Dynamic FedGBF, which
dynamically changes each forest's parameters and thus reduces the complexity.
Finally, the experiments based on the benchmark datasets demonstrate the
superiority of our method.
- Abstract(参考訳): データプライバシとセキュリティの問題を解決するためのフェデレーション学習が最近注目を集めている。
しかし,既存のフェデレーション強化モデルでは,弱ベース学習者による決定木モデルが逐次構築され,冗長なブースティングステップと対話性の高い通信コストが生じる。
対照的に、連合型バッグングモデルは複数決定木を並列に構築することで時間を節約するが、性能損失に悩まされる。
そこで本研究では,federated gradient boosting forest(federated gradient boosting forest, fedgbf)と呼ばれる垂直フェデレーション環境における新しいモデルを提案する。
FedGBFは、強化のためのベースラーナとして、決定木を並列に構築することで、ブースティングとバッグングの優先順位を同時に統合する。
FedGBFの後、ハイパーパラメータチューニングの問題が高まっている。
次に,各森林のパラメータを動的に変化させ,複雑さを低減させる動的feedgbfを提案する。
最後に,ベンチマークデータセットに基づく実験により,本手法が優れていることを示す。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer
Learning for Point Cloud Analysis [53.70588957376317]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳(メタデータ) (2023-12-16T11:40:49Z) - Lightweight Diffusion Models with Distillation-Based Block Neural
Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。
事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。
従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文 参考訳(メタデータ) (2023-11-08T12:56:59Z) - Tackling the Non-IID Issue in Heterogeneous Federated Learning by
Gradient Harmonization [11.484136481586381]
フェデレートラーニング(Federated Learning, FL)は、分散クライアントからグローバルモデルを協調的にトレーニングするための、プライバシ保護パラダイムである。
本研究では、サーバ側の勾配競合のレンズを通して、この重要な課題を再考する。
グラディエント・ハーモニゼーションによる局所ドリフトを緩和する簡易かつ効果的なFedGHを提案する。
論文 参考訳(メタデータ) (2023-09-13T03:27:21Z) - Gradient-less Federated Gradient Boosting Trees with Learnable Learning
Rates [10.644120783520268]
我々は、勾配の共有に依存しない水平連合XGBoostのための革新的なフレームワークを開発する。
提案手法は,最先端手法に匹敵する性能を実現し,通信ラウンドと通信オーバヘッドの両方を25倍から700倍の範囲で低減することにより,通信効率を効果的に向上することを示す。
論文 参考訳(メタデータ) (2023-04-15T11:48:18Z) - Federated Dynamic Sparse Training: Computing Less, Communicating Less,
Yet Learning Better [88.28293442298015]
Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。
我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。
FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
論文 参考訳(メタデータ) (2021-12-18T02:26:38Z) - Federated Hyperparameter Tuning: Challenges, Baselines, and Connections
to Weight-Sharing [37.056834089598105]
標準アプローチがフェデレートされた設定のベースラインにどのように適合するかを示す。
ウェイトシェアリングのニューラルアーキテクチャ検索技術に新たな接続を行うことで,新しい手法であるFedExを導入する。
理論的には、FedExの変種がオンライン凸最適化の設定においてデバイス上での学習率を正しく調整していることを示す。
論文 参考訳(メタデータ) (2021-06-08T16:42:37Z) - Secure Bilevel Asynchronous Vertical Federated Learning with Backward
Updating [159.48259714642447]
垂直拡張学習(VFL)は、多人数協調モデリングの要求とプライバシー漏洩の懸念により、注目を集めている。
我々は,vf$b2$を含む3つの新しいアルゴリズムを提案する新しいbftextlevel parallel architecture (vf$bfb2$)を提案する。
論文 参考訳(メタデータ) (2021-03-01T12:34:53Z) - Soft Gradient Boosting Machine [72.54062017726154]
複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。
実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
論文 参考訳(メタデータ) (2020-06-07T06:43:23Z) - UFO-BLO: Unbiased First-Order Bilevel Optimization [42.49533978193117]
我々は,この収束を理論的に保証できる,新しいFOBLOに基づく外層勾配の非バイアス推定法を提案する。
この結果はOmniglotとMini-ImageNet,人気の数ショットメタラーニングベンチマークの実験結果によって裏付けられている。
論文 参考訳(メタデータ) (2020-06-05T18:53:45Z) - Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。
LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
論文 参考訳(メタデータ) (2020-02-12T18:57:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。