論文の概要: Convergence Analysis of Split Learning on Non-IID Data

• arxiv url: http://arxiv.org/abs/2302.01633v1
• Date: Fri, 3 Feb 2023 10:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:45:42.744918
• Title: Convergence Analysis of Split Learning on Non-IID Data
• Title（参考訳）: 非IIDデータを用いたスプリット学習の収束解析
• Authors: Yipeng Li and Xinchen Lyu
• Abstract要約: スプリットラーニング(SL)はフェデレートラーニング(FL)の一種で、AIモデルをクライアントと共同で分割し、トレーニングする。 SLは非IIDデータ上の非制約対象に対して$mathcalO (1/sqrtR$)収束率を示し,$R$はラウンド総数である。 さらに, FLの収束結果と比較すると, 非IIDデータの急激なラウンドにおいて, SLの保証はFLよりも悪いことがわかった。
• 参考スコア（独自算出の注目度）: 5.0872971049493705
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split Learning (SL) is one promising variant of Federated Learning (FL), where the AI model is split and trained at the clients and the server collaboratively. By offloading the computation-intensive portions to the server, SL enables efficient model training on resource-constrained clients. Despite its booming applications, SL still lacks rigorous convergence analysis on non-IID data, which is critical for hyperparameter selection. In this paper, we first prove that SL exhibits an $\mathcal{O}(1/\sqrt{R})$ convergence rate for non-convex objectives on non-IID data, where $R$ is the number of total training rounds. The derived convergence results can facilitate understanding the effect of some crucial factors in SL (e.g., data heterogeneity and synchronization interval). Furthermore, comparing with the convergence result of FL, we show that the guarantee of SL is worse than FL in terms of training rounds on non-IID data. The experimental results verify our theory. More findings on the comparison between FL and SL in cross-device settings are also reported.
• Abstract（参考訳）: スプリットラーニング(SL)はフェデレートラーニング(FL)の有望なバリエーションのひとつで、AIモデルをクライアントとサーバで共同で分割し、トレーニングする。 計算集約的な部分をサーバにオフロードすることで、SLはリソース制約のあるクライアントでの効率的なモデルトレーニングを可能にします。 その急激な応用にもかかわらず、SLは非IIDデータに対する厳密な収束解析を欠いている。 本稿では,非IIDデータにおける非凸目標に対して,SLが$\mathcal{O}(1/\sqrt{R})$収束率を示すことを最初に証明する。 導出コンバージェンスの結果は、SL(例えば、データ不均一性と同期間隔)におけるいくつかの重要な要素の影響を理解するのに役立つ。 さらに, FLの収束結果と比較すると, 非IIDデータのトレーニングラウンドにおいて, SLの保証はFLよりも悪いことがわかった。 実験結果は我々の理論を検証する。 デバイス間設定におけるFLとSLの比較に関するさらなる知見も報告されている。

関連論文リスト

• Double Machine Learning for Adaptive Causal Representation in High-Dimensional Data [14.25379577156518]
  サポートポイントサンプル分割(SPSS)は、因果推論において効率的なダブル機械学習(DML)に使用される。 ランダムサンプル中の全生データの最適な代表点として支持点を選択して分割する。 それらは、完全な大きなデータセットの最良の表現を提供するが、従来のランダムデータ分割による基礎となる分布の単位構造情報は、ほとんど保存されない。
  論文  参考訳（メタデータ） (2024-11-22T01:54:53Z)
• On Pretraining Data Diversity for Self-Supervised Learning [57.91495006862553]
  我々は、より多様なデータセットを用いたトレーニングが、固定された計算予算の下での自己教師付き学習(SSL)のパフォーマンスに与える影響について検討する。 以上の結果から,事前学習データの多様性の増大はSSL性能を向上させるが,下流データへの分布距離が最小である場合に限る。
  論文  参考訳（メタデータ） (2024-03-20T17:59:58Z)
• Understanding Representation Learnability of Nonlinear Self-Supervised Learning [13.965135660149212]
  自己教師付き学習(SSL)は、多くの下流タスクにおいて、データ表現の学習性を実証的に示す。 本論文は非線形SSLモデルの学習結果を精度良く解析した最初の論文である。
  論文  参考訳（メタデータ） (2024-01-06T13:23:26Z)
• Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
  半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。 我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-30T13:48:50Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
  フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。 本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-11T08:33:25Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
  本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
  論文  参考訳（メタデータ） (2020-09-01T17:55:51Z)
• Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
  データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。 おもちゃのデータにベイジアンSSLの証明を与える。
  論文  参考訳（メタデータ） (2020-08-13T13:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。