論文の概要: Smart Multi-tenant Federated Learning

• arxiv url: http://arxiv.org/abs/2207.04202v1
• Date: Sat, 9 Jul 2022 06:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:05:37.180789
• Title: Smart Multi-tenant Federated Learning
• Title（参考訳）: スマートマルチテナント連合学習
• Authors: Weiming Zhuang, Yonggang Wen, Shuai Zhang
• Abstract要約: 本研究では,マルチテナントFLシステムである MuFL を提案する。 まず、マルチテナントFLの問題を定式化し、マルチテナントFLシナリオを定義し、バニラ多テナントFLシステムを導入し、アクティビティを逐次トレーニングしてベースラインを形成する。 実験により、MuFLは40%のエネルギーを消費しながら他の方法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 16.025681567222477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging distributed machine learning method that empowers in-situ model training on decentralized edge devices. However, multiple simultaneous training activities could overload resource-constrained devices. In this work, we propose a smart multi-tenant FL system, MuFL, to effectively coordinate and execute simultaneous training activities. We first formalize the problem of multi-tenant FL, define multi-tenant FL scenarios, and introduce a vanilla multi-tenant FL system that trains activities sequentially to form baselines. Then, we propose two approaches to optimize multi-tenant FL: 1) activity consolidation merges training activities into one activity with a multi-task architecture; 2) after training it for rounds, activity splitting divides it into groups by employing affinities among activities such that activities within a group have better synergy. Extensive experiments demonstrate that MuFL outperforms other methods while consuming 40% less energy. We hope this work will inspire the community to further study and optimize multi-tenant FL.
• Abstract（参考訳）: Federated Learning(FL)は、分散型エッジデバイス上でのその場でモデルトレーニングを可能にする、新興の分散機械学習手法である。 しかし、複数の同時トレーニングアクティビティは、リソース制約されたデバイスをオーバーロードする可能性がある。 本研究では,同時学習を効果的に調整し実行するためのマルチテナントflシステムであるmuflを提案する。 まず、マルチテナントflの問題を定式化し、マルチテナントflのシナリオを定義し、アクティビティを順次訓練してベースラインを形成するバニラマルチテナントflシステムを導入する。 次に,マルチテナントFLを最適化する2つの手法を提案する。 1) 活動の統合は、訓練活動をマルチタスクアーキテクチャで一つの活動にマージする。 2) ラウンドトレーニング後, グループ内の活動の相乗効果が向上するなど, グループ間の親和性を活用してグループに分けた。 大規模な実験では、MuFLは他の方法よりも40%少ないエネルギーを消費することを示した。 この取り組みがコミュニティにさらなる研究と、マルチテナントFLの最適化を促すことを願っている。

関連論文リスト

• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training [15.462969044840868]
  LW-FedMMLは,学習プロセスを複数の段階に分解する階層型多モーダル学習手法である。 提案手法の有効性を検証するため,様々なFLおよびマルチモーダル学習環境にまたがる広範囲な実験を行った。 具体的には、LW-FedMMLはメモリ使用量を最大2.7Times$、計算処理(FLOP)を2.4times$、通信総コストを2.3times$に削減する。
  論文  参考訳（メタデータ） (2024-07-22T07:06:17Z)
• MAS: Towards Resource-Efficient Federated Multiple-Task Learning [29.60567693814403]
  Federated Learning(FL)は、分散型エッジデバイス上でのその場でモデルトレーニングを可能にする、新興の分散機械学習手法である。 本稿では,複数の同時FLタスクを効果的にコーディネートし,訓練するための最初のFLシステムを提案する。 我々は、複数のFLタスクを同時に学習する際の性能を最適化するために、新しいアプローチであるMAS(Merge and Split)を提案する。
  論文  参考訳（メタデータ） (2023-07-21T01:04:52Z)
• Multi-Job Intelligent Scheduling with Cross-Device Federated Learning [65.69079337653994]
  フェデレートラーニング(FL)は、センシティブな生データを共有せずに、協調的なグローバル機械学習モデルのトレーニングを可能にする。 本稿では,複数のジョブを並列にトレーニングできる新しいマルチジョブFLフレームワークを提案する。 本稿では,元来の強化学習に基づくスケジューリング手法と元来のベイズ最適化に基づくスケジューリング手法を含む,複数のスケジューリング手法に基づく新しいインテリジェントスケジューリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-24T06:17:40Z)
• Multi-Model Federated Learning with Provable Guarantees [19.470024548995717]
  Federated Learning (FL) は分散学習の亜種であり、デバイスは中央サーバや互いにデータを共有せずにモデルを学習する。 多モデルエッジFLとして,クライアントの共通プールを用いたフェデレーション設定において,複数の独立クライアントの処理を同時に参照する。
  論文  参考訳（メタデータ） (2022-07-09T19:47:52Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• How Does Cell-Free Massive MIMO Support Multiple Federated Learning Groups? [42.63398054091038]
  本研究では,複数のFLプロセスの安定動作を保証するために,セルフリーなマルチインプット多重出力(MIMO)ネットワークを提案する。 次に、マルチキャストダウンリンクおよび従来のアップリンク送信プロトコルの下でFLプロセスの繰り返しを非同期に実行する新しいスキームを開発する。
  論文  参考訳（メタデータ） (2021-07-20T15:46:53Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。