Fugu-MT 論文翻訳(概要): Optimal Resource Allocation for U-Shaped Parallel Split Learning

論文の概要: Optimal Resource Allocation for U-Shaped Parallel Split Learning

arxiv url: http://arxiv.org/abs/2308.08896v3
Date: Mon, 9 Oct 2023 03:16:07 GMT
ステータス: 処理完了
システム内更新日: 2023-10-13 04:40:07.302177
Title: Optimal Resource Allocation for U-Shaped Parallel Split Learning
Title（参考訳）: U字型並列スプリット学習のための最適資源配分
Authors: Song Lyu, Zheng Lin, Guanqiao Qu, Xianhao Chen, Xiaoxia Huang, and Pan Li
Abstract要約: Split Learning(SL)は、データ所有者の生データサンプルを明らかにすることなく、モデルトレーニングのための有望なアプローチとして登場した。従来のSLは必然的に、(最後のレイヤを持つ)テールモデルがサーバに置かれるべきとして、ラベルのプライバシをリークする。有望な解決策の1つは、U字型アーキテクチャを使用して、初期のレイヤと最後のレイヤの両方をユーザ側に置いておくことである。
参考スコア（独自算出の注目度）: 15.069132131105063
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Split learning (SL) has emerged as a promising approach for model training without revealing the raw data samples from the data owners. However, traditional SL inevitably leaks label privacy as the tail model (with the last layers) should be placed on the server. To overcome this limitation, one promising solution is to utilize U-shaped architecture to leave both early layers and last layers on the user side. In this paper, we develop a novel parallel U-shaped split learning and devise the optimal resource optimization scheme to improve the performance of edge networks. In the proposed framework, multiple users communicate with an edge server for SL. We analyze the end-to-end delay of each client during the training process and design an efficient resource allocation algorithm, called LSCRA, which finds the optimal computing resource allocation and split layers. Our experimental results show the effectiveness of LSCRA and that U-shaped parallel split learning can achieve a similar performance with other SL baselines while preserving label privacy. Index Terms: U-shaped network, split learning, label privacy, resource allocation, 5G/6G edge networks.
Abstract（参考訳）: Split Learning(SL)は、データ所有者の生データサンプルを明らかにすることなく、モデルトレーニングのための有望なアプローチとして登場した。しかし、従来のSLは必然的にラベルのプライバシをリークし、(最後のレイヤを持つ)テールモデルがサーバに置かれるべきである。この制限を克服するために、有望な解決策の1つは、u字型アーキテクチャを使用して、初期層と最後の層の両方をユーザー側に残すことである。本稿では,新しい並列u字型分割学習法を開発し,エッジネットワークの性能向上のための最適資源最適化手法を考案する。提案フレームワークでは,複数のユーザがSL用のエッジサーバと通信する。学習過程における各クライアントのエンドツーエンド遅延を分析し, LSCRAと呼ばれる効率的な資源割当アルゴリズムを設計し, 最適計算資源割当と分割層を求める。実験の結果,ラベルのプライバシを保ちながら,LSCRAの有効性と,U字型並列分割学習が他のSLベースラインと同等の性能を発揮することが示された。インデックス用語:U字型ネットワーク、分割学習、ラベルプライバシ、リソース割り当て、5G/6Gエッジネットワーク。

関連論文リスト

Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
論文参考訳（メタデータ） (2024-03-04T05:10:28Z)
Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文参考訳（メタデータ） (2023-03-26T16:09:48Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文参考訳（メタデータ） (2022-11-10T13:20:56Z)
Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning [82.06357027523262]
フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
論文参考訳（メタデータ） (2021-12-11T08:33:25Z)
Asynchronous Semi-Decentralized Federated Edge Learning for Heterogeneous Clients [3.983055670167878]
フェデレーションエッジ学習(FEEL)は、モバイルエッジネットワークのプライバシ保護のための分散学習フレームワークとして注目されている。本研究では,複数のエッジサーバが協調して,エッジデバイスからのより多くのデータをトレーニング中に組み込む,新たな半分散FEEL(SD-FEEL)アーキテクチャについて検討する。
論文参考訳（メタデータ） (2021-12-09T07:39:31Z)
SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
論文参考訳（メタデータ） (2020-04-25T08:52:50Z)
OL4EL: Online Learning for Edge-cloud Collaborative Learning on Heterogeneous Edges with Resource Constraints [18.051084376447655]
資源制約のある異種エッジ上でのエッジ学習(EL)を効果的に行う「学習学習」の枠組みを提案する。予算制限付きマルチアームバンディットモデルに基づくオンライン学習用EL(OL4EL)フレームワークを提案する。 OL4ELは同期と非同期の両方の学習パターンをサポートし、教師なしと教師なしの両方の学習タスクに使用できる。
論文参考訳（メタデータ） (2020-04-22T03:51:58Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。