Fugu-MT 論文翻訳(概要): Federated Empirical Risk Minimization via Second-Order Method

論文の概要: Federated Empirical Risk Minimization via Second-Order Method

arxiv url: http://arxiv.org/abs/2305.17482v1
Date: Sat, 27 May 2023 14:23:14 GMT
ステータス: 処理完了
システム内更新日: 2023-05-30 18:57:37.097645
Title: Federated Empirical Risk Minimization via Second-Order Method
Title（参考訳）: 2次法によるフェデレーション実証リスク最小化
Authors: Song Bian, Zhao Song, Junze Yin
Abstract要約: 連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。 IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
参考スコア（独自算出の注目度）: 18.548661105227488
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Many convex optimization problems with important applications in machine learning are formulated as empirical risk minimization (ERM). There are several examples: linear and logistic regression, LASSO, kernel regression, quantile regression, $p$-norm regression, support vector machines (SVM), and mean-field variational inference. To improve data privacy, federated learning is proposed in machine learning as a framework for training deep learning models on the network edge without sharing data between participating nodes. In this work, we present an interior point method (IPM) to solve a general ERM problem under the federated learning setting. We show that the communication complexity of each iteration of our IPM is $\tilde{O}(d^{3/2})$, where $d$ is the dimension (i.e., number of features) of the dataset.
Abstract（参考訳）: 機械学習における重要な応用に関する凸最適化問題の多くは経験的リスク最小化(ERM)として定式化されている。線形およびロジスティック回帰、LASSO、カーネル回帰、量子回帰、$p$-norm回帰、サポートベクターマシン(SVM)、平均場変動推論などがある。データプライバシを改善するために,ネットワークエッジ上で,ノード間でデータを共有することなくディープラーニングモデルをトレーニングするためのフレームワークとして,機械学習において連合学習を提案する。本研究では,連合学習環境下での一般的なERM問題を解決するための内部点法(IPM)を提案する。 IPMの各イテレーションの通信複雑性が$\tilde{O}(d^{3/2})$であることを示す。

関連論文リスト

Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文参考訳（メタデータ） (2023-08-08T17:56:20Z)
Mutual Information Learned Regressor: an Information-theoretic Viewpoint of Training Regression Systems [10.314518385506007]
回帰問題を解くための既存の慣習は平均二乗誤差(MSE)最小化アプローチである。近年,Yiらは相互情報に基づく教師あり学習フレームワークを提案し,ラベルエントロピー正規化を導入した。本稿では,相互情報に基づく教師あり学習フレームワークにおける回帰について検討する。
論文参考訳（メタデータ） (2022-11-23T03:43:22Z)
FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
論文参考訳（メタデータ） (2022-10-26T00:23:36Z)
Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
論文参考訳（メタデータ） (2022-06-22T00:33:04Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Federated Expectation Maximization with heterogeneity mitigation and variance reduction [0.0]
本稿では、潜在変数モデルに対する期待最大化(EM)アルゴリズムの最初の拡張であるFedEMを紹介する。通信の複雑さを軽減するため、FedEMは十分なデータ統計を適切に定義した。その結果,生物多様性モニタリングに欠落した値の計算処理を応用した理論的知見が得られた。
論文参考訳（メタデータ） (2021-11-03T09:14:34Z)
A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
論文参考訳（メタデータ） (2021-06-14T16:03:51Z)
Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文参考訳（メタデータ） (2020-12-23T09:33:11Z)
Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文参考訳（メタデータ） (2020-10-02T10:41:59Z)
An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。