Fugu-MT 論文翻訳(概要): Convergence Analysis of Sequencial Split Learning on Heterogeneous Data

論文の概要: Convergence Analysis of Sequencial Split Learning on Heterogeneous Data

arxiv url: http://arxiv.org/abs/2302.01633v2
Date: Wed, 7 Jun 2023 13:54:02 GMT
ステータス: 処理完了
システム内更新日: 2023-06-08 19:23:46.526908
Title: Convergence Analysis of Sequencial Split Learning on Heterogeneous Data
Title（参考訳）: 不均一データを用いた逐次スプリット学習の収束解析
Authors: Yipeng Li and Xinchen Lyu
Abstract要約: Split Learning(SL)とFederated Averaging(Fed)は、分散機械学習の2つの一般的なパラダイムである。不均一なデータに基づいてSL/一般SL/非Avgの収束保証を導出する。極めて不均一なデータに対して,反直観分析の結果を実証的に検証した。
参考スコア（独自算出の注目度）: 5.0872971049493705
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) and Split Learning (SL) are two popular paradigms of distributed machine learning. By offloading the computation-intensive portions to the server, SL is promising for deep model training on resource-constrained devices, yet still lacking of rigorous convergence analysis. In this paper, we derive the convergence guarantees of Sequential SL (SSL, the vanilla case of SL that conducts the model training in sequence) for strongly/general/non-convex objectives on heterogeneous data. Notably, the derived guarantees suggest that SSL is better than Federated Averaging (FedAvg, the most popular algorithm in FL) on heterogeneous data. We validate the counterintuitive analysis result empirically on extremely heterogeneous data.
Abstract（参考訳）: federated learning (fl) と split learning (sl) は、分散機械学習の2つの一般的なパラダイムである。計算集約的な部分をサーバにオフロードすることで、SLはリソース制約のあるデバイス上での深層モデルトレーニングを約束すると同時に、厳密な収束分析を欠いている。本稿では,不均質データに対する強/一般/非凸目標に対する逐次sl(ssl,slのモデルトレーニングを行うバニラケース)の収束保証を求める。特に、派生した保証は、SSLが異種データのフェデレーション平均化(FedAvg、FLで最も人気のあるアルゴリズム)よりも優れていることを示唆している。超異質なデータを用いて, 直観的分析結果の有効性を検証する。

関連論文リスト

Double Machine Learning for Adaptive Causal Representation in High-Dimensional Data [14.25379577156518]
サポートポイントサンプル分割(SPSS)は、因果推論において効率的なダブル機械学習(DML)に使用される。ランダムサンプル中の全生データの最適な代表点として支持点を選択して分割する。それらは、完全な大きなデータセットの最良の表現を提供するが、従来のランダムデータ分割による基礎となる分布の単位構造情報は、ほとんど保存されない。
論文参考訳（メタデータ） (2024-11-22T01:54:53Z)
On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
論文参考訳（メタデータ） (2024-03-20T17:59:58Z)
Understanding Representation Learnability of Nonlinear Self-Supervised Learning [13.965135660149212]
自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
論文参考訳（メタデータ） (2024-01-06T13:23:26Z)
Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
論文参考訳（メタデータ） (2023-11-30T13:48:50Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
論文参考訳（メタデータ） (2022-06-22T00:33:04Z)
Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文参考訳（メタデータ） (2022-06-07T13:28:43Z)
Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
論文参考訳（メタデータ） (2021-12-11T08:33:25Z)
Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文参考訳（メタデータ） (2021-10-11T06:29:56Z)
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
論文参考訳（メタデータ） (2020-09-01T17:55:51Z)
Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。おもちゃのデータにベイジアンSSLの証明を与える。
論文参考訳（メタデータ） (2020-08-13T13:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。