論文の概要: Federated Functional Gradient Boosting

• arxiv url: http://arxiv.org/abs/2103.06972v1
• Date: Thu, 11 Mar 2021 21:49:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 13:09:15.165714
• Title: Federated Functional Gradient Boosting
• Title（参考訳）: Federated Functional Gradient Boosting
• Authors: Zebang Shen, Hamed Hassani, Satyen Kale, Amin Karbasi
• Abstract要約: フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
• 参考スコア（独自算出の注目度）: 75.06942944563572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we initiate a study of functional minimization in Federated Learning. First, in the semi-heterogeneous setting, when the marginal distributions of the feature vectors on client machines are identical, we develop the federated functional gradient boosting (FFGB) method that provably converges to the global minimum. Subsequently, we extend our results to the fully-heterogeneous setting (where marginal distributions of feature vectors may differ) by designing an efficient variant of FFGB called FFGB.C, with provable convergence to a neighborhood of the global minimum within a radius that depends on the total variation distances between the client feature distributions. For the special case of square loss, but still in the fully heterogeneous setting, we design the FFGB.L method that also enjoys provable convergence to a neighborhood of the global minimum but within a radius depending on the much tighter Wasserstein-1 distances. For both FFGB.C and FFGB.L, the radii of convergence shrink to zero as the feature distributions become more homogeneous. Finally, we conduct proof-of-concept experiments to demonstrate the benefits of our approach against natural baselines.
• Abstract（参考訳）: 本稿では,フェデレーション学習における機能最小化の研究を開始する。 まず、半均質な環境では、クライアントマシン上の特徴ベクトルの限界分布が同一である場合、大域的最小値に確実に収束するフェデレーション機能勾配促進法(FFGB)を開発する。 その後,ffgb.cと呼ばれるffgbの効率的な変種を設計し,クライアント特徴分布間の全変動距離に依存する半径内の大域最小近傍への収束を可能にすることにより,完全ヘテロジェンスな設定(特徴ベクトルの周縁分布が異なる場合)に結果を拡張する。 正方形損失の特別の場合、しかし完全に不均一な設定においては、より狭いwaserstein-1距離に依存する半径内で、大域的最小近傍への証明可能な収束を享受できるffgb.l法をデザインする。 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。 最後に,自然ベースラインに対するアプローチの利点を実証するための概念実証実験を行った。

関連論文リスト

• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion [0.0]
  ランゲヴィン・ダイナミクスは、グローバルな非最適化実験で広く用いられている。 提案手法は,速度と離散化誤差のトレードオフについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T07:49:40Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Optimal 1-Wasserstein Distance for WGANs [2.1174215880331775]
  有限標本とレジームの両方において、WGAN(Wasserstein GANs)を徹底的に解析する。 半離散状態における最適輸送理論の新たな結果を導出する。
  論文  参考訳（メタデータ） (2022-01-08T13:04:03Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint Support [27.165565512841656]
  移動音源と固定目標分布との間のクルバック・リーブラー分岐に対する緩和近似の勾配流について検討した。 この近似は KALE (KL 近似下界推定器) と呼ばれ、関数の制限クラス上で KL を定義するフェンシェル双対問題の正規化版を解く。
  論文  参考訳（メタデータ） (2021-06-16T16:37:43Z)
• Quantitative Rates and Fundamental Obstructions to Non-Euclidean Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
  我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。 グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
  論文  参考訳（メタデータ） (2021-01-13T23:29:40Z)
• Reciprocal Adversarial Learning via Characteristic Functions [12.961770002117142]
  GAN(Generative Adversarial Nets)は、複雑な分散を伴うタスクに好まれるツールである。 特徴関数(CF)を用いて分布を時間ではなく時間的に比較する方法を示す。 次に、逆数が存在する場合の埋め込み領域とデータ領域の等価性を証明し、自動エンコーダ構造で自然にGANを開発する。 この効率的な構造は、単純なトレーニング戦略とともに2つのモジュールのみを使用して、双方向で鮮明な画像を生成する。
  論文  参考訳（メタデータ） (2020-06-15T14:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。