論文の概要: Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates

• arxiv url: http://arxiv.org/abs/2304.07537v1
• Date: Sat, 15 Apr 2023 11:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 18:34:23.198021
• Title: Gradient-less Federated Gradient Boosting Trees with Learnable Learning Rates
• Title（参考訳）: 学習可能な学習率を持つ勾配レスフェデレーション勾配促進木
• Authors: Chenyang Ma, Xinchi Qiu, Daniel J. Beutel, Nicholas D. Lane
• Abstract要約: 我々は、勾配の共有に依存しない水平連合XGBoostのための革新的なフレームワークを開発する。 提案手法は,最先端手法に匹敵する性能を実現し,通信ラウンドと通信オーバヘッドの両方を25倍から700倍の範囲で低減することにより,通信効率を効果的に向上することを示す。
• 参考スコア（独自算出の注目度）: 10.644120783520268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The privacy-sensitive nature of decentralized datasets and the robustness of eXtreme Gradient Boosting (XGBoost) on tabular data raise the needs to train XGBoost in the context of federated learning (FL). Existing works on federated XGBoost in the horizontal setting rely on the sharing of gradients, which induce per-node level communication frequency and serious privacy concerns. To alleviate these problems, we develop an innovative framework for horizontal federated XGBoost which does not depend on the sharing of gradients and simultaneously boosts privacy and communication efficiency by making the learning rates of the aggregated tree ensembles learnable. We conduct extensive evaluations on various classification and regression datasets, showing our approach achieves performance comparable to the state-of-the-art method and effectively improves communication efficiency by lowering both communication rounds and communication overhead by factors ranging from 25x to 700x.
• Abstract（参考訳）: 分散データセットのプライバシーに敏感な性質と表データ上のeXtreme Gradient Boosting(XGBoost)の堅牢性は、連邦学習(FL)の文脈でXGBoostをトレーニングする必要性を高めます。 分散XGBoostの水平配置における既存の作業は、ノード単位の通信頻度と深刻なプライバシー懸念を引き起こす勾配の共有に依存している。 これらの問題を緩和するために, 勾配の共有に依存しず, 集合木アンサンブルの学習率を学習可能とし, プライバシーと通信効率を向上させる, 水平フェデレートxgboostの革新的な枠組みを開発した。 我々は,様々な分類と回帰データセットについて広範な評価を行い,最先端手法に匹敵する性能を達成し,通信ラウンドと通信オーバーヘッドを25倍から700倍まで低減することで,通信効率を効果的に向上することを示す。

関連論文リスト

• Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning [67.49221252724229]
  E-Healthは、スマートデバイスや医療機関が患者のデータを共同で収集することを可能にする。 eヘルスにフェデレートされた学習を適用することは、多くの課題に直面します。 医療データは水平および垂直に分割される。 HFLとVFLの単純な組み合わせには、訓練効率の低下、難聴収束分析、パラメータチューニング戦略の欠如など、制限がある。
  論文  参考訳（メタデータ） (2024-04-15T19:45:07Z)
• Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
  グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。 提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。 本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-05T06:55:51Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• Joint Data and Feature Augmentation for Self-Supervised Representation Learning on Point Clouds [4.723757543677507]
  ユークリッド空間におけるデータ拡張と特徴空間における特徴拡張を組み合わせた融合コントラスト学習フレームワークを提案する。 提案手法の伝達性を検証するため,広範囲な対象分類実験と対象部分分割実験を行う。 実験の結果,提案フレームワークは,自己指導型でポイントクラウド表現を学習する上で有効であることが示された。
  論文  参考訳（メタデータ） (2022-11-02T14:58:03Z)
• FedGBF: An efficient vertical federated learning framework via gradient boosting and bagging [14.241194034190304]
  我々は、FedGBF(Federated Gradient Boosting Forest)と呼ばれる垂直連合環境における新しいモデルを提案する。 FedGBFは、強化のためのベースラーナとして、決定木を並列に構築することで、ブースティングとバッグングの優先順位を同時に統合する。 また,各森林のパラメータを動的に変化させ,複雑さを低減させる動的FedGBFを提案する。
  論文  参考訳（メタデータ） (2022-04-03T03:03:34Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Federated Knowledge Graphs Embedding [50.35484170815679]
  本稿では,fkge(federated knowledge graphs embedded)という分散スケーラブル学習フレームワークを提案する。 FKGEは、知識グラフのペア間の逆生成を利用して、異なるドメインの同一の実体と関係を近接埋め込み空間に変換する。 トレーニングデータのプライバシーを保護するために、FKGEはさらにプライバシー保護ニューラルネットワーク構造を実装し、生データの漏洩を保証しません。
  論文  参考訳（メタデータ） (2021-05-17T05:30:41Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Adaptive Histogram-Based Gradient Boosted Trees for Federated Learning [10.893840244877568]
  Federated Learning(FL)は、複数のパーティ間でデータを共有せずに、モデルを共同でトレーニングするアプローチです。 コンシューマのドメインでも、個人データを保護するためにも、データ管理規則やデータサイロの実用性を扱うエンタープライズ設定でも使用されています。 本稿では,データ暗号化を必要とせず,パーティ適応ヒストグラム集計手法を用いた勾配ブースティングの新たな実装を提案する。
  論文  参考訳（メタデータ） (2020-12-11T23:01:35Z)
• FedBoosting: Federated Learning with Gradient Protected Boosting for Text Recognition [7.988454173034258]
  フェデレートラーニング(FL)フレームワークは、データの集中化やデータオーナ間の共有なしに、共有モデルを協調的に学習することを可能にする。 本稿では,非独立性および非独立性分散(Non-IID)データに基づくジョイントモデルの一般化能力について述べる。 本稿では,FLの一般化と勾配リーク問題に対処する新しいブースティングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-14T18:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。