論文の概要: FeDXL: Provable Federated Learning for Deep X-Risk Optimization
- arxiv url: http://arxiv.org/abs/2210.14396v3
- Date: Sat, 3 Jun 2023 15:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 04:14:18.885042
- Title: FeDXL: Provable Federated Learning for Deep X-Risk Optimization
- Title（参考訳）: FeDXL: 深部X-Risk最適化のための有望なフェデレーション学習
- Authors: Zhishuai Guo, Rong Jin, Jiebo Luo, Tianbao Yang
- Abstract要約: 我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。
Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
- 参考スコア（独自算出の注目度）: 114.84076248317834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we tackle a novel federated learning (FL) problem for
optimizing a family of X-risks, to which no existing FL algorithms are
applicable. In particular, the objective has the form of $\mathbb E_{z\sim S_1}
f(\mathbb E_{z'\sim S_2} \ell(w; z, z'))$, where two sets of data $S_1, S_2$
are distributed over multiple machines, $\ell(\cdot)$ is a pairwise loss that
only depends on the prediction outputs of the input data pairs $(z, z')$, and
$f(\cdot)$ is possibly a non-linear non-convex function. This problem has
important applications in machine learning, e.g., AUROC maximization with a
pairwise loss, and partial AUROC maximization with a compositional loss. The
challenges for designing an FL algorithm for X-risks lie in the
non-decomposability of the objective over multiple machines and the
interdependency between different machines. To this end, we propose an
active-passive decomposition framework that decouples the gradient's components
with two types, namely active parts and passive parts, where the active parts
depend on local data that are computed with the local model and the passive
parts depend on other machines that are communicated/computed based on
historical models and samples. Under this framework, we develop two provable FL
algorithms (FeDXL) for handling linear and nonlinear $f$, respectively, based
on federated averaging and merging. We develop a novel theoretical analysis to
combat the latency of the passive parts and the interdependency between the
local model parameters and the involved data for computing local gradient
estimators. We establish both iteration and communication complexities and show
that using the historical samples and models for computing the passive parts do
not degrade the complexities. We conduct empirical studies of FeDXL for deep
AUROC and partial AUROC maximization, and demonstrate their performance
compared with several baselines.
- Abstract（参考訳）: 本稿では,既存のflアルゴリズムを適用できないx-risk群を最適化するための新しい連合学習(fl)問題に取り組む。
特に、目標は$\mathbb e_{z\sim s_1} f(\mathbb e_{z'\sim s_2} \ell(w; z, z'))$であり、2組のデータ $s_1, s_2$ が複数のマシンに分散されている場合、$\ell(\cdot)$ は入力データ対 $(z, z')$ と $f(\cdot)$ の予測出力にのみ依存する対損失である。
この問題は、AUROCの最大化とAUROCの最大化と構成損失の最大化といった機械学習において重要な応用がある。
Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非分解性と異なるマシン間の相互依存性にある。
そこで本研究では, 局所モデルで計算される局所データと, パッシブ部が歴史的なモデルとサンプルに基づいて通信・計算される他の機械に依存した, アクティブ部分とパッシブ部分という2つのタイプで勾配成分を分解する能動パッシブ分解フレームワークを提案する。
本フレームワークでは,線形および非線形の$f$をそれぞれフェデレート平均とマージに基づいて処理するための2つの証明可能なFLアルゴリズム(FeDXL)を開発した。
本研究では,受動部品の遅延と局所モデルパラメータ間の相互依存性に対処する理論解析を開発し,局所勾配推定器の計算を行う。
繰り返しと通信の両複雑さを確立し、過去のサンプルとモデルを用いて受動部品を計算しても複雑さは劣化しないことを示す。
深部AUROCおよび部分AUROCの最大化のためのFeDXLの実証的研究を行い, それらの性能をいくつかのベースラインと比較した。
関連論文リスト
- Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。
IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
論文 参考訳（メタデータ） (2023-05-27T14:23:14Z) - $\textit{FastSVD-ML-ROM}$: A Reduced-Order Modeling Framework based on
Machine Learning for Real-Time Applications [0.0]
高忠実度数値シミュレーションは工学設計のバックボーンを構成する。
高忠実度解を近似するために、低次モデル (ROM) を用いる。
本研究は,ROM開発のための機械学習(ML)プラットフォームを提案する。
論文 参考訳（メタデータ） (2022-07-24T23:11:07Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳（メタデータ） (2022-02-08T12:58:14Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - FedLGA: Towards System-Heterogeneity of Federated Learning via Local
Gradient Approximation [21.63719641718363]
システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。
複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
論文 参考訳（メタデータ） (2021-12-22T16:05:09Z) - Joint Majorization-Minimization for Nonnegative Matrix Factorization
with the $\beta$-divergence [4.468952886990851]
本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。
種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
論文 参考訳（メタデータ） (2021-06-29T09:58:21Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳（メタデータ） (2020-07-15T03:25:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。