論文の概要: FedX: Federated Learning for Compositional Pairwise Risk Optimization
- arxiv url: http://arxiv.org/abs/2210.14396v1
- Date: Wed, 26 Oct 2022 00:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:57:22.065972
- Title: FedX: Federated Learning for Compositional Pairwise Risk Optimization
- Title（参考訳）: fedx: 構成的ペアワイズリスク最適化のための連合学習
- Authors: Zhishuai Guo, Rong Jin, Jiebo Luo, Tianbao Yang
- Abstract要約: 既存のリスクが適用されないペアワイズ推定器のファミリーを最適化するために、新しい学習(FL)問題に取り組む。
FL(X)の課題は、複数のマシンに対する目的の非互換性と、異なるマシン間の相互依存にある。
我々は,遅延部分と局所局所モデルパラメータの複雑さに対処し,局所的パラメータを計算するためのデータを含む新たな理論的解析法を開発した。
- 参考スコア（独自算出の注目度）: 114.84076248317834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we tackle a novel federated learning (FL) problem for
optimizing a family of compositional pairwise risks, to which no existing FL
algorithms are applicable. In particular, the objective has the form of
$\mathbb E_{\mathbf z\sim \mathcal S_1} f(\mathbb E_{\mathbf z'\sim\mathcal
S_2} \ell(\mathbf w, \mathbf z, \mathbf z'))$, where two sets of data $\mathcal
S_1, \mathcal S_2$ are distributed over multiple machines, $\ell(\cdot;
\cdot,\cdot)$ is a pairwise loss that only depends on the prediction outputs of
the input data pairs $(\mathbf z, \mathbf z')$, and $f(\cdot)$ is possibly a
non-linear non-convex function. This problem has important applications in
machine learning, e.g., AUROC maximization with a pairwise loss, and partial
AUROC maximization with a compositional loss. The challenges for designing an
FL algorithm lie in the non-decomposability of the objective over multiple
machines and the interdependency between different machines. We propose two
provable FL algorithms (FedX) for handling linear and nonlinear $f$,
respectively. To address the challenges, we decouple the gradient's components
with two types, namely active parts and lazy parts, where the active parts
depend on local data that are computed with the local model and the lazy parts
depend on other machines that are communicated/computed based on historical
models and samples. We develop a novel theoretical analysis to combat the
latency of the lazy parts and the interdependency between the local model
parameters and the involved data for computing local gradient estimators. We
establish both iteration and communication complexities and show that using the
historical samples and models for computing the lazy parts do not degrade the
complexities. We conduct empirical studies of FedX for deep AUROC and partial
AUROC maximization, and demonstrate their performance compared with several
baselines.
- Abstract（参考訳）: 本稿では,既存のflアルゴリズムが適用されない構成的ペアワイズリスクのファミリーを最適化するための,新しい連合学習(fl)問題に取り組む。
特に、目的は $\mathbb E_{\mathbf z\sim \mathcal S_1} f(\mathbb E_{\mathbf z'\sim\mathcal S_2} \ell(\mathbf w, \mathbf z, \mathbf z')$, ここで、データの2つの集合 $\mathcal S_1, \mathcal S_2$ は複数のマシンに分散している。
この問題は、AUROCの最大化とAUROCの最大化と構成損失の最大化といった機械学習において重要な応用がある。
FLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非分解性と、異なるマシン間の相互依存にある。
線形および非線形の$f$を扱うための2つの provable fl algorithm (fedx) を提案する。
この課題に対処するために,我々は,グラデーションのコンポーネントを2つのタイプ,すなわちアクティブな部分と怠け者の部分に分ける。そこではアクティブな部分はローカルモデルで計算されるローカルデータに依存し,遅延な部分は歴史的なモデルやサンプルに基づいて通信/計算される他のマシンに依存する。
本稿では,遅延部分の遅延と局所モデルパラメータ間の相互依存性に対処する新たな理論解析法を開発し,局所勾配推定器の計算を行う。
繰り返しと通信の両複雑さを確立し、遅延部分の計算に歴史的なサンプルとモデルを用いることで、複雑さを劣化させないことを示す。
我々は,深部AUROCと部分AUROCの最大化のためのFedXの実証的研究を行い,それらの性能をいくつかのベースラインと比較した。
関連論文リスト
- Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [65.8915778873691]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しい学習パラダイムを提案する。
我々のアプローチはまた、興味深いことに逆エントロピー最適輸送(OT)と結びついている。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。
IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
論文 参考訳（メタデータ） (2023-05-27T14:23:14Z) - $\textit{FastSVD-ML-ROM}$: A Reduced-Order Modeling Framework based on
Machine Learning for Real-Time Applications [0.0]
高忠実度数値シミュレーションは工学設計のバックボーンを構成する。
高忠実度解を近似するために、低次モデル (ROM) を用いる。
本研究は,ROM開発のための機械学習(ML)プラットフォームを提案する。
論文 参考訳（メタデータ） (2022-07-24T23:11:07Z) - An Improved Analysis of Gradient Tracking for Decentralized Machine
Learning [34.144764431505486]
トレーニングデータが$n$エージェントに分散されるネットワーク上での分散機械学習を検討する。
エージェントの共通の目標は、すべての局所損失関数の平均を最小化するモデルを見つけることである。
ノイズのない場合、$p$を$mathcalO(p-1)$から$mathcalO(p-1)$に改善します。
論文 参考訳（メタデータ） (2022-02-08T12:58:14Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - FedLGA: Towards System-Heterogeneity of Federated Learning via Local
Gradient Approximation [21.63719641718363]
システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。
複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
論文 参考訳（メタデータ） (2021-12-22T16:05:09Z) - Joint Majorization-Minimization for Nonnegative Matrix Factorization
with the $\beta$-divergence [4.468952886990851]
本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。
種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
論文 参考訳（メタデータ） (2021-06-29T09:58:21Z) - Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal
Sample Complexity [67.02490430380415]
モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。
また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
論文 参考訳（メタデータ） (2020-07-15T03:25:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。