論文の概要: Workflow Optimization for Parallel Split Learning

• arxiv url: http://arxiv.org/abs/2402.10092v1
• Date: Thu, 1 Feb 2024 14:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-18 12:39:58.357769
• Title: Workflow Optimization for Parallel Split Learning
• Title（参考訳）: 並列分割学習のためのワークフロー最適化
• Authors: Joana Tirana, Dimitra Tsigkari, George Iosifidis, Dimitris Chatzopoulos
• Abstract要約: 資源制約されたデバイスがニューラルネットワーク(NN)をトレーニングし、フェデレートラーニング(FL)に参加することを可能にする手段として、スプリットラーニング(SL)が提案されている。 並列SLでは、複数のヘルパーが1つ以上のクライアントのモデル部分を処理することができるため、すべてのクライアント(makespan)に対する最大トレーニング時間が大幅に短縮される。 本稿では,その固有対称性を利用して問題を分解する解法と,完全にスケーラブルな第2の解法を提案する。
• 参考スコア（独自算出の注目度）: 12.554265727169742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Split learning (SL) has been recently proposed as a way to enable resource-constrained devices to train multi-parameter neural networks (NNs) and participate in federated learning (FL). In a nutshell, SL splits the NN model into parts, and allows clients (devices) to offload the largest part as a processing task to a computationally powerful helper. In parallel SL, multiple helpers can process model parts of one or more clients, thus, considerably reducing the maximum training time over all clients (makespan). In this paper, we focus on orchestrating the workflow of this operation, which is critical in highly heterogeneous systems, as our experiments show. In particular, we formulate the joint problem of client-helper assignments and scheduling decisions with the goal of minimizing the training makespan, and we prove that it is NP-hard. We propose a solution method based on the decomposition of the problem by leveraging its inherent symmetry, and a second one that is fully scalable. A wealth of numerical evaluations using our testbed's measurements allow us to build a solution strategy comprising these methods. Moreover, we show that this strategy finds a near-optimal solution, and achieves a shorter makespan than the baseline scheme by up to 52.3%.
• Abstract（参考訳）: 資源制約のあるデバイスがマルチパラメータニューラルネットワーク(NN)をトレーニングし、フェデレートラーニング(FL)に参加することを可能にする手段として、スプリットラーニング(SL)が最近提案されている。 簡単に言うと、SLはNNモデルを部品に分割し、クライアント(デバイス)が処理タスクとして最大の部分を計算力のあるヘルパーにオフロードできるようにする。 並列slでは、複数のヘルパーが1つ以上のクライアントのモデル部品を処理できるため、すべてのクライアントの最大トレーニング時間が大幅に短縮される(makespan)。 本稿では,本実験が示すように,非常に異質なシステムにおいて極めて重要であるこの操作のワークフローのオーケストレーションに着目する。 特に,トレーニングメースパンの最小化を目標として,クライアント-ヘルパー代入とスケジューリング決定の連立問題を定式化し,NPハードであることを証明する。 本稿では,その固有対称性を利用して問題を分解する解法と,完全にスケーラブルな第2の解法を提案する。 テストベッドの測定値を用いた数値評価により,これらの手法からなる解法を構築することができる。 さらに,本手法は最適に近い解を求め,ベースライン方式よりも52.3%短いメイスパンを達成できることを示す。

関連論文リスト

• Accelerating Split Federated Learning over Wireless Communication Networks [17.97006656280742]
  我々は、連立学習(FL)の並列モデル学習機構と分割学習(SL)のモデル分割構造を組み合わせた分割学習(SFL)フレームワークを検討する。 システム遅延を最小限に抑えるために,分割点選択と帯域割り当ての連立問題を定式化する。 実験の結果,レイテンシ低減と精度向上における作業の優位性を実証した。
  論文  参考訳（メタデータ） (2023-10-24T07:49:56Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Training Latency Minimization for Model-Splitting Allowed Federated Edge Learning [16.8717239856441]
  我々は,深層ニューラルネットワーク(DNN)の訓練において,クライアントが直面する計算能力の不足を軽減するためのモデル分割許容FL(SFL)フレームワークを提案する。 同期したグローバルアップデート設定では、グローバルトレーニングを完了するためのレイテンシは、クライアントがローカルトレーニングセッションを完了するための最大レイテンシによって決定される。 この混合整数非線形計画問題の解法として,AIモデルのカット層と他のパラメータの量的関係に適合する回帰法を提案し,TLMPを連続的な問題に変換する。
  論文  参考訳（メタデータ） (2023-07-21T12:26:42Z)
• When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework [6.871107511111629]
  CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。 私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-22T12:36:52Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• AMS-Net: Adaptive Multiscale Sparse Neural Network with Interpretable Basis Expansion for Multiphase Flow Problems [8.991619150027267]
  本研究では、物理過程の学習に応用可能な適応スパース学習アルゴリズムを提案し、大きなスナップショット空間を与えられた解のスパース表現を得る。 基本関数の情報は損失関数に組み込まれており、複数の時間ステップにおけるダウンスケール縮小次数解と参照解との差を最小限に抑える。 複雑なアプリケーションにおける提案手法の有効性と解釈性を示すため, 2相多相流問題に対してより数値的な実験を行った。
  論文  参考訳（メタデータ） (2022-07-24T13:12:43Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。