論文の概要: FedHybrid: Breaking the Memory Wall of Federated Learning via Hybrid Tensor Management

• arxiv url: http://arxiv.org/abs/2510.11400v1
• Date: Mon, 13 Oct 2025 13:43:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.381244
• Title: FedHybrid: Breaking the Memory Wall of Federated Learning via Hybrid Tensor Management
• Title（参考訳）: FedHybrid: ハイブリッドテンソル管理によるフェデレーション学習のメモリウォールの破壊
• Authors: Kahou Tam, Chunlin Tian, Li Li, Haikai Zhao, ChengZhong Xu,
• Abstract要約: フェデレートラーニング(FL)は、複数のデバイスが共同で共有モデルをトレーニングできる新しい学習パラダイムとして登場した。 FLのモバイルデバイスへの展開を妨げる、基本的で一般的な課題の1つは、メモリ制限である。 本稿では,トレーニング中のメモリフットプリントを効果的に削減する新しいフレームワークであるtextitFedHybridを提案する。
• 参考スコア（独自算出の注目度）: 27.731967925365954
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning (FL) emerges as a new learning paradigm that enables multiple devices to collaboratively train a shared model while preserving data privacy. However, one fundamental and prevailing challenge that hinders the deployment of FL on mobile devices is the memory limitation. This paper proposes \textit{FedHybrid}, a novel framework that effectively reduces the memory footprint during the training process while guaranteeing the model accuracy and the overall training progress. Specifically, \textit{FedHybrid} first selects the participating devices for each training round by jointly evaluating their memory budget, computing capability, and data diversity. After that, it judiciously analyzes the computational graph and generates an execution plan for each selected client in order to meet the corresponding memory budget while minimizing the training delay through employing a hybrid of recomputation and compression techniques according to the characteristic of each tensor. During the local training process, \textit{FedHybrid} carries out the execution plan with a well-designed activation compression technique to effectively achieve memory reduction with minimum accuracy loss. We conduct extensive experiments to evaluate \textit{FedHybrid} on both simulation and off-the-shelf mobile devices. The experiment results demonstrate that \textit{FedHybrid} achieves up to a 39.1\% increase in model accuracy and a 15.5$\times$ reduction in wall clock time under various memory budgets compared with the baselines.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする、新たな学習パラダイムとして登場した。 しかし、FLのモバイルデバイスへの展開を妨げる、基本的な、一般的な課題は、メモリ制限である。 本稿では,トレーニングプロセス中のメモリフットプリントを効果的に削減し,モデルの精度と総合的なトレーニングの進捗を保証できるフレームワークである‘textit{FedHybrid} を提案する。 具体的には、 \textit{FedHybrid} はまず、メモリ予算、計算能力、データの多様性を共同で評価することで、トレーニングラウンド毎に参加するデバイスを選択する。 その後、計算グラフを任意に解析し、各テンソルの特性に応じて再計算と圧縮のハイブリッドを用いてトレーニング遅延を最小化しつつ、対応するメモリ予算を満たすために、選択したクライアントに対して実行計画を生成する。 ローカルトレーニングプロセス中、 \textit{FedHybrid} は、適切に設計されたアクティベーション圧縮技術を用いて実行計画を実行し、最小の精度の損失でメモリ削減を効果的に達成する。 シミュレーションおよびオフザシェルフモバイルデバイス上で, textit{FedHybrid} の評価を行う。 実験結果から, <textit{FedHybrid} は, モデル精度が 39.1\% 向上し, 各種メモリ予算下でのウォールクロック時間を 15.5$\times$ 削減できることがわかった。

関連論文リスト

• Breaking the Memory Wall for Heterogeneous Federated Learning via Model Splitting [16.42580791094151]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、複数のデバイスが共同で共有モデルをトレーニングすることを可能にする。 参加するデバイス上の限られたメモリリソースと組み合わさったモデル複雑性の増大は、現実のシナリオにおけるFLの展開を著しくボトルネックにする。 本稿では,デバイス側のメモリフットプリントを効果的に削減するフレームワークであるSmartSplitを提案する。
  論文  参考訳（メタデータ） (2024-10-12T18:23:21Z)
• Block Selective Reprogramming for On-device Training of Vision Transformers [12.118303034660531]
  本稿では,事前学習したモデルのブロック全体のごく一部のみを微調整するブロック選択型再プログラミング(BSR)を提案する。 既存の代替手法と比較して、トレーニングメモリを最大1.4倍、計算コストを最大2倍に削減する。
  論文  参考訳（メタデータ） (2024-03-25T08:41:01Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。