Fugu-MT 論文翻訳(概要): Sample-based and Feature-based Federated Learning via Mini-batch SSCA

論文の概要: Sample-based and Feature-based Federated Learning via Mini-batch SSCA

arxiv url: http://arxiv.org/abs/2104.06011v1
Date: Tue, 13 Apr 2021 08:23:46 GMT
ステータス: 処理完了
システム内更新日: 2021-04-14 13:23:38.721181
Title: Sample-based and Feature-based Federated Learning via Mini-batch SSCA
Title（参考訳）: ミニバッチSSCAによるサンプルベースおよび特徴ベースフェデレーション学習
Authors: Chencheng Ye, Ying Cui
Abstract要約: 本稿ではサンプルベースおよび特徴ベース連合最適化について検討する。提案アルゴリズムは,モデルアグリゲーション機構を通じてデータプライバシを保持できることを示した。また,提案アルゴリズムは,各フェデレーション最適化問題のKarush-Kuhn-Tucker点に収束することを示した。
参考スコア（独自算出の注目度）: 18.11773963976481
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Due to the resource consumption for transmitting massive data and the concern for exposing sensitive data, it is impossible or undesirable to upload clients' local databases to a central server. Thus, federated learning has become a hot research area in enabling the collaborative training of machine learning models among multiple clients that hold sensitive local data. Nevertheless, unconstrained federated optimization has been studied mainly using stochastic gradient descent (SGD), which may converge slowly, and constrained federated optimization, which is more challenging, has not been investigated so far. This paper investigates sample-based and feature-based federated optimization, respectively, and considers both the unconstrained problem and the constrained problem for each of them. We propose federated learning algorithms using stochastic successive convex approximation (SSCA) and mini-batch techniques. We show that the proposed algorithms can preserve data privacy through the model aggregation mechanism, and their security can be enhanced via additional privacy mechanisms. We also show that the proposed algorithms converge to Karush-Kuhn-Tucker (KKT) points of the respective federated optimization problems. Besides, we customize the proposed algorithms to application examples and show that all updates have closed-form expressions. Finally, numerical experiments demonstrate the inherent advantages of the proposed algorithms in convergence speeds, communication costs, and model specifications.
Abstract（参考訳）: 大量のデータを送信するためのリソース消費と機密データを露出する懸念のため、クライアントのローカルデータベースを中央サーバにアップロードすることは不可能または望ましくない。これにより、センシティブなローカルデータを保持する複数のクライアント間での機械学習モデルの協調トレーニングを可能にするための、連合学習がホットな研究分野となっている。それにもかかわらず、制約のないフェデレーション最適化は主にゆっくりと収束する確率勾配勾配(SGD)を用いて研究され、より困難な制約付きフェデレーション最適化は今のところ研究されていない。本稿では,サンプルベースおよび特徴ベース連合最適化をそれぞれ検討し,制約付き問題と制約付き問題の両方について考察する。確率的逐次凸近似(ssca)とミニバッチ手法を用いた連合学習アルゴリズムを提案する。提案手法は,モデル集約機構によってデータのプライバシを保存でき,そのセキュリティは追加のプライバシ機構によって強化できることを示す。また,提案アルゴリズムは,各フェデレート最適化問題のKKT点に収束することを示した。さらに、提案アルゴリズムをアプリケーション例にカスタマイズし、すべての更新がクローズドフォーム式であることを示す。最後に,提案手法の収束速度,通信コスト,モデル仕様における本質的利点を数値実験により実証する。

関連論文リスト

Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文参考訳（メタデータ） (2024-06-12T17:53:28Z)
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。その独特な洞察力のある性質とその分析も提示される。
論文参考訳（メタデータ） (2023-10-30T14:15:47Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文参考訳（メタデータ） (2023-05-24T17:26:22Z)
Federated Compositional Deep AUC Maximization [58.25078060952361]
本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
論文参考訳（メタデータ） (2023-04-20T05:49:41Z)
Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文参考訳（メタデータ） (2023-02-20T16:26:29Z)
Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
論文参考訳（メタデータ） (2021-12-20T03:06:08Z)
Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文参考訳（メタデータ） (2021-10-14T17:35:24Z)
Sample-based Federated Learning via Mini-batch SSCA [18.11773963976481]
近似凸と制約付きサンプルベースフェデレーション最適化について検討した。各問題に対して,逐次凸近似手法を用いたプライバシー保護アルゴリズムを提案する。提案アルゴリズムは, 速度, 通信コスト, モデル仕様の点で, 数値的な利点がある。
論文参考訳（メタデータ） (2021-03-17T08:38:03Z)
Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2020-12-28T19:21:14Z)
FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。