論文の概要: Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks

• arxiv url: http://arxiv.org/abs/2409.07202v1
• Date: Wed, 11 Sep 2024 11:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:49:40.611107
• Title: Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks
• Title（参考訳）: 不均一性を考慮した事前学習ブロックによるフェデレーション学習のコーディネーション
• Authors: Shichen Zhan, Yebo Wu, Chunlin Tian, Yan Zhao, Li Li,
• Abstract要約: フェデレートラーニング(FL)は複数のデバイスをコーディネートして、データのプライバシを保持しながら共有モデルを協調的にトレーニングする。 我々は,事前学習ブロックを用いた不均一なフェデレーション学習のための階層的協調フレームワークであるFedStitchを提案する。
• 参考スコア（独自算出の注目度）: 5.621750660969172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) coordinates multiple devices to collaboratively train a shared model while preserving data privacy. However, large memory footprint and high energy consumption during the training process excludes the low-end devices from contributing to the global model with their own data, which severely deteriorates the model performance in real-world scenarios. In this paper, we propose FedStitch, a hierarchical coordination framework for heterogeneous federated learning with pre-trained blocks. Unlike the traditional approaches that train the global model from scratch, for a new task, FedStitch composes the global model via stitching pre-trained blocks. Specifically, each participating client selects the most suitable block based on their local data from the candidate pool composed of blocks from pre-trained models. The server then aggregates the optimal block for stitching. This process iterates until a new stitched network is generated. Except for the new training paradigm, FedStitch consists of the following three core components: 1) an RL-weighted aggregator, 2) a search space optimizer deployed on the server side, and 3) a local energy optimizer deployed on each participating client. The RL-weighted aggregator helps to select the right block in the non-IID scenario, while the search space optimizer continuously reduces the size of the candidate block pool during stitching. Meanwhile, the local energy optimizer is designed to minimize energy consumption of each client while guaranteeing the overall training progress. The results demonstrate that compared to existing approaches, FedStitch improves the model accuracy up to 20.93%. At the same time, it achieves up to 8.12% speedup, reduces the memory footprint up to 79.5%, and achieves 89.41% energy saving at most during the learning procedure.
• Abstract（参考訳）: フェデレートラーニング(FL)は複数のデバイスをコーディネートして、データのプライバシを保持しながら共有モデルを協調的にトレーニングする。 しかし、トレーニングプロセス中の大きなメモリフットプリントと高エネルギー消費は、ローエンドデバイスが自身のデータでグローバルモデルに寄与することを排除し、実際のシナリオにおけるモデル性能を著しく低下させる。 本稿では,事前学習ブロックを用いた異種フェデレーション学習のための階層的協調フレームワークであるFedStitchを提案する。 グローバルモデルをゼロからトレーニングする従来のアプローチとは異なり、新しいタスクでは、FedStitchはトレーニング済みのブロックを縫合することでグローバルモデルを構成する。 具体的には、各クライアントは、事前訓練されたモデルのブロックからなる候補プールから、それぞれのローカルデータに基づいて、最も適切なブロックを選択する。 その後、サーバは、縫合のための最適なブロックを集約する。 この処理は、新しい縫合ネットワークが生成されるまで反復する。 新しいトレーニングパラダイムを除いて、FedStitchは以下の3つのコアコンポーネントで構成されている。 1)RL重み付けアグリゲータ 2)サーバ側に配置された検索スペースオプティマイザ 3)各参加クライアントに展開するローカルエネルギオプティマイザ。 RL重み付けアグリゲータは、非IIDシナリオで正しいブロックを選択するのに役立ち、探索空間オプティマイザは、縫合中の候補ブロックプールのサイズを連続的に減少させる。 一方、ローカルエネルギーオプティマイザは、訓練全体の進捗を保証しつつ、各クライアントのエネルギー消費を最小限に抑えるように設計されている。 その結果、既存のアプローチと比較して、FedStitchはモデルの精度を最大20.93%改善した。 同時に、最大8.12%のスピードアップを実現し、メモリフットプリントを79.5%まで削減し、学習手順中に89.41%の省エネを達成する。

関連論文リスト

• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
  フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。 Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。 AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
  論文  参考訳（メタデータ） (2022-10-12T12:59:18Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure [18.083188787905083]
  本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。 また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
  論文  参考訳（メタデータ） (2020-10-14T08:15:34Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。