論文の概要: When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework

• arxiv url: http://arxiv.org/abs/2305.12979v1
• Date: Mon, 22 May 2023 12:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 16:14:51.808114
• Title: When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework
• Title（参考訳）: power networkが分散機械学習を満たすとき - 効率的な連合分割学習フレームワーク
• Authors: Xinjing Yuan, Lingjun Pu, Lei Jiao, Xiaofei Wang, Meijuan Yang, Jingdong Xu
• Abstract要約: CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。 私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
• 参考スコア（独自算出の注目度）: 6.871107511111629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we advocate CPN-FedSL, a novel and flexible Federated Split Learning (FedSL) framework over Computing Power Network (CPN). We build a dedicated model to capture the basic settings and learning characteristics (e.g., training flow, latency and convergence). Based on this model, we introduce Resource Usage Effectiveness (RUE), a novel performance metric integrating training utility with system cost, and formulate a multivariate scheduling problem that maxi?mizes RUE by comprehensively taking client admission, model partition, server selection, routing and bandwidth allocation into account (i.e., mixed-integer fractional programming). We design Refinery, an efficient approach that first linearizes the fractional objective and non-convex constraints, and then solves the transformed problem via a greedy based rounding algorithm in multiple iterations. Extensive evaluations corroborate that CPN-FedSL is superior to the standard and state-of-the-art learning frameworks (e.g., FedAvg and SplitFed), and besides Refinery is lightweight and significantly outperforms its variants and de facto heuristic methods under a variety of settings.
• Abstract（参考訳）: 本稿では,計算電力ネットワーク(CPN)上の新しいフレキシブルなフェデレート・スプリット・ラーニング(FedSL)フレームワークであるCPN-FedSLを提案する。 基本的な設定と学習特性(トレーニングフロー、レイテンシ、収束など)をキャプチャする専用のモデルを構築します。 このモデルに基づいて、トレーニングユーティリティとシステムコストを統合する新しいパフォーマンス指標であるResource Usage Effectiveness (RUE)を導入し、最大値の多変量スケジューリング問題を定式化する。 クライアントの受け入れ、モデル分割、サーバの選択、ルーティング、帯域割り当て(すなわち混合整数分数プログラミング)を総合的に考慮することで、rueを最適化する。 本稿では,まず,分数目的制約と非凸制約を線形化する効率的な手法であるRefineryを設計し,複数の反復でグリーディベースラウンドリングアルゴリズムを用いて変換問題を解く。 CPN-FedSLは、標準および最先端の学習フレームワーク(例えば、FedAvgやSplitFed)よりも優れており、Refineryは軽量であり、様々な設定でその変種と事実上のヒューリスティックな手法を著しく上回っている。

関連論文リスト

• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Federated Learning with Flexible Architectures [12.800116749927266]
  本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
  論文  参考訳（メタデータ） (2024-06-14T09:44:46Z)
• ESFL: Efficient Split Federated Learning over Resource-Constrained Heterogeneous Wireless Devices [22.664980594996155]
  フェデレートラーニング(FL)は、複数のパーティ(分散デバイス)が生データを共有せずに機械学習モデルをトレーニングすることを可能にする。 本稿では,中央サーバにおける強力な計算能力を最大限に活用するために,効率的な分割フェデレーション学習アルゴリズム(ESFL)を提案する。
  論文  参考訳（メタデータ） (2024-02-24T20:50:29Z)
• Workflow Optimization for Parallel Split Learning [12.554265727169742]
  資源制約されたデバイスがニューラルネットワーク(NN)をトレーニングし、フェデレートラーニング(FL)に参加することを可能にする手段として、スプリットラーニング(SL)が提案されている。 並列SLでは、複数のヘルパーが1つ以上のクライアントのモデル部分を処理することができるため、すべてのクライアント(makespan)に対する最大トレーニング時間が大幅に短縮される。 本稿では,その固有対称性を利用して問題を分解する解法と,完全にスケーラブルな第2の解法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T14:16:10Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。