Fugu-MT 論文翻訳(概要): Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates

論文の概要: Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates

arxiv url: http://arxiv.org/abs/2304.07537v3
Date: Sun, 24 Mar 2024 09:42:39 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 03:58:21.438016
Title: Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates
Title（参考訳）: 学習可能な学習率を持つグラディエント・フェデレート・グラディエント・ブースティングツリー
Authors: Chenyang Ma, Xinchi Qiu, Daniel J. Beutel, Nicholas D. Lane,
Abstract要約: 我々は水平連合XGBoostのための革新的なフレームワークを開発する。集約された木の集合の学習率を学習可能にすることにより、プライバシーとコミュニケーションの効率を同時に向上させる。提案手法は最先端手法に匹敵する性能を実現し,通信ラウンドと通信オーバヘッドの両方を25倍から700倍の範囲で低減することで,通信効率を効果的に向上する。
参考スコア（独自算出の注目度）: 17.68344542462656
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The privacy-sensitive nature of decentralized datasets and the robustness of eXtreme Gradient Boosting (XGBoost) on tabular data raise the needs to train XGBoost in the context of federated learning (FL). Existing works on federated XGBoost in the horizontal setting rely on the sharing of gradients, which induce per-node level communication frequency and serious privacy concerns. To alleviate these problems, we develop an innovative framework for horizontal federated XGBoost which does not depend on the sharing of gradients and simultaneously boosts privacy and communication efficiency by making the learning rates of the aggregated tree ensembles learnable. We conduct extensive evaluations on various classification and regression datasets, showing our approach achieves performance comparable to the state-of-the-art method and effectively improves communication efficiency by lowering both communication rounds and communication overhead by factors ranging from 25x to 700x. Project Page: https://flower.ai/blog/2023-04-19-xgboost-with-flower/
Abstract（参考訳）: 分散データセットのプライバシーに敏感な性質と表データ上のeXtreme Gradient Boosting(XGBoost)の堅牢性は、連邦学習(FL)の文脈でXGBoostをトレーニングする必要性を高めます。従来の分散XGBoostの水平配置での作業は、ノード単位の通信頻度と深刻なプライバシー上の懸念を引き起こす勾配の共有に依存している。これらの問題を緩和するために、我々は、勾配の共有に依存しない水平連合XGBoostのための革新的なフレームワークを開発し、集約された木の集合の学習率を学習可能にすることにより、プライバシーと通信効率を同時に向上させる。各種分類・回帰データセットを広範囲に評価し, 現状の手法に匹敵する性能を実現し, 25倍から700倍の範囲で通信ラウンドと通信オーバヘッドを下げることにより, 通信効率を効果的に向上することを示す。 Project Page: https://flower.ai/blog/2023-04-19-xgboost-with-flower/

関連論文リスト

Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning [67.49221252724229]
E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。 eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。医療データは水平および垂直に分割される。 HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
論文参考訳（メタデータ） (2024-04-15T19:45:07Z)
Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
論文参考訳（メタデータ） (2023-02-05T06:55:51Z)
GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文参考訳（メタデータ） (2022-12-07T10:19:39Z)
Joint Data and Feature Augmentation for Self-Supervised Representation Learning on Point Clouds [4.723757543677507]
ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
論文参考訳（メタデータ） (2022-11-02T14:58:03Z)
FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging [14.241194034190304]
我々は、FedGBF(Federated Gradient Boosting Forest)と呼ばれる垂直連合環境における新しいモデルを提案する。 FedGBFは、強化のためのベースラーナとして、決定木を並列に構築することで、ブースティングとバッグングの優先順位を同時に統合する。また,各森林のパラメータを動的に変化させ,複雑さを低減させる動的FedGBFを提案する。
論文参考訳（メタデータ） (2022-04-03T03:03:34Z)
GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2022-03-24T02:58:36Z)
Federated Knowledge Graphs Embedding [50.35484170815679]
本稿では,fkge(federated knowledge graphs embedded)という分散スケーラブル学習フレームワークを提案する。 FKGEは、知識グラフのペア間の逆生成を利用して、異なるドメインの同一の実体と関係を近接埋め込み空間に変換する。トレーニングデータのプライバシーを保護するために、FKGEはさらにプライバシー保護ニューラルネットワーク構造を実装し、生データの漏洩を保証しません。
論文参考訳（メタデータ） (2021-05-17T05:30:41Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning [10.893840244877568]
Federated Learning(FL)は、複数のパーティ間でデータを共有せずに、モデルを共同でトレーニングするアプローチです。コンシューマのドメインでも、個人データを保護するためにも、データ管理規則やデータサイロの実用性を扱うエンタープライズ設定でも使用されています。本稿では,データ暗号化を必要とせず,パーティ適応ヒストグラム集計手法を用いた勾配ブースティングの新たな実装を提案する。
論文参考訳（メタデータ） (2020-12-11T23:01:35Z)
FedBoosting: Federated Learning with Gradient Protected Boosting for Text Recognition [7.988454173034258]
フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-14T18:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。