論文の概要: Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
- arxiv url: http://arxiv.org/abs/2012.06670v1
- Date: Fri, 11 Dec 2020 23:01:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 02:49:41.046304
- Title: Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning
- Title（参考訳）: Federated Learningのための適応ヒストグラムに基づく勾配木
- Authors: Yuya Jeremy Ong, Yi Zhou, Nathalie Baracaldo, Heiko Ludwig
- Abstract要約: Federated Learning(FL)は、複数のパーティ間でデータを共有せずに、モデルを共同でトレーニングするアプローチです。
コンシューマのドメインでも、個人データを保護するためにも、データ管理規則やデータサイロの実用性を扱うエンタープライズ設定でも使用されています。
本稿では,データ暗号化を必要とせず,パーティ適応ヒストグラム集計手法を用いた勾配ブースティングの新たな実装を提案する。
- 参考スコア（独自算出の注目度）: 10.893840244877568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is an approach to collaboratively train a model
across multiple parties without sharing data between parties or an aggregator.
It is used both in the consumer domain to protect personal data as well as in
enterprise settings, where dealing with data domicile regulation and the
pragmatics of data silos are the main drivers. While gradient boosted tree
implementations such as XGBoost have been very successful for many use cases,
its federated learning adaptations tend to be very slow due to using
cryptographic and privacy methods and have not experienced widespread use. We
propose the Party-Adaptive XGBoost (PAX) for federated learning, a novel
implementation of gradient boosting which utilizes a party adaptive histogram
aggregation method, without the need for data encryption. It constructs a
surrogate representation of the data distribution for finding splits of the
decision tree. Our experimental results demonstrate strong model performance,
especially on non-IID distributions, and significantly faster training run-time
across different data sets than existing federated implementations. This
approach makes the use of gradient boosted trees practical in enterprise
federated learning.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)とは、複数のパーティ間でデータを共有せずにモデルを協調的にトレーニングする手法である。
コンシューマのドメインでも、個人データを保護するためにも、データ管理規則やデータサイロの実用性を扱うエンタープライズ設定でも使用されています。
XGBoostのような高勾配木の実装は、多くのユースケースで非常に成功したが、暗号やプライバシメソッドを使用するため、フェデレーション学習の適応は非常に遅く、広く使用されていない。
本稿では,データ暗号化を必要とせず,パーティー適応ヒストグラム集約法を用いた勾配ブースティングの新たな実装であるフェデレート学習のためのパーティ適応型xgboost(pax)を提案する。
決定木の分割を見つけるために、データ分布の代理表現を構築する。
実験の結果,特に非IID分布におけるモデル性能が向上し,既存のフェデレート実装よりもデータセット間の実行時間のトレーニングが大幅に高速化された。
このアプローチにより、企業連関学習において勾配強化木の利用が実用的になる。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Adaptive Parameterization of Deep Learning Models for Federated Learning [85.82002651944254]
Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
本稿では,フェデレートラーニングのための並列適応器を提案する。
論文 参考訳（メタデータ） (2023-02-06T17:30:33Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳（メタデータ） (2022-09-30T17:15:19Z) - Weight Divergence Driven Divide-and-Conquer Approach for Optimal
Federated Learning from non-IID Data [0.0]
Federated Learningは、トレーニングデータを集中化することなく、分散デバイスに格納されたデータのトレーニングを可能にする。
本稿では,一般的なFedAvgアグリゲーションアルゴリズムの活用を可能にする,新しいDivide-and-Conquerトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-06-28T09:34:20Z) - PFA: Privacy-preserving Federated Adaptation for Effective Model
Personalization [6.66389628571674]
フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。
本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。
PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-02T08:07:34Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳（メタデータ） (2020-12-10T12:18:13Z) - Improving Semi-supervised Federated Learning by Reducing the Gradient
Diversity of Models [67.66144604972052]
Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。
テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。
本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
論文 参考訳（メタデータ） (2020-08-26T03:36:07Z) - FedBoosting: Federated Learning with Gradient Protected Boosting for
Text Recognition [7.988454173034258]
フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。
本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。
本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-14T18:47:23Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。