論文の概要: HO-FL: Hybrid-Order Federated Learning for Heterogeneous Edge Devices

• arxiv url: http://arxiv.org/abs/2609.39074v1
• Date: Wed, 30 Sep 2026 06:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.270106
• Title: HO-FL: Hybrid-Order Federated Learning for Heterogeneous Edge Devices
• Title（参考訳）: HO-FL:異種エッジデバイスのためのハイブリッド次フェデレーション学習
• Abstract要約: 第一次(FO)最適化は大きなメモリを必要とするが、ゼロ次(ZO)最適化は深刻な収束速度の低下に悩まされる。 HO-FLはモデルの下位セグメントをZO最適化で訓練し,上位セグメントをFO最適化で訓練する,ハイブリッドオーダーのFLフレームワークである。 我々の収束分析は、新しい基本的なトレードオフを明らかにしている:より大きなFOトレーニングされたセグメントを持つクライアントは、より正確な更新を提供することができるが、それを支持するクライアントのデータを過小評価できる。
• 参考スコア（独自算出の注目度）: 11.659875281575063
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) on memory-constrained edge devices faces a dilemma: first-order (FO) optimization (i.e., backpropagation) demands substantial memory, whereas zeroth-order (ZO) optimization suffers from severe convergence slowdown. To resolve this dilemma, we introduce HO-FL, a hybrid-order FL framework that trains a model's bottom segment with ZO optimization and its top segment with FO optimization. Each device can flexibly select its order boundary according to its memory budget while participating in the training of the same global model. Moreover, our convergence analysis reveals a new, fundamental trade-off: clients with larger FO-trained segments can provide more accurate updates, but favoring them can underrepresent other clients' data. We connect this trade-off to the bias and variance of actual multi-step local updates, yielding a sampling optimization problem and a practical dimension-aware approximation with direct model averaging. Experiments on language tasks examine task performance, client memory, and sampling under data heterogeneity. The results show that hybrid-order local training can retain much of the full-FO performance with substantially lower client memory requirements. Our code is available at https://github.com/HKU-WILL-Lab/HO-FL.
• Abstract（参考訳）: メモリ制約のあるエッジデバイス上でのフェデレーション学習(FL)はジレンマに直面している: 1次(FO)最適化(例えば、バックプロパゲーション)はかなりのメモリを必要とするが、0次(ZO)最適化は厳しい収束速度の低下に悩まされる。 このジレンマを解決するために,モデルの下位セグメントをZO最適化で訓練し,上位セグメントをFO最適化で訓練するハイブリッド順序FLフレームワークであるHO-FLを導入する。 各デバイスは、同じグローバルモデルのトレーニングに参加しながら、メモリ予算に応じて、柔軟に順序境界を選択することができる。 さらに、我々の収束分析は、新しい基本的なトレードオフを明らかにしている:より大きなFO訓練セグメントを持つクライアントは、より正確な更新を提供することができるが、それを好むクライアントは他のクライアントのデータを過小評価できる。 我々は、このトレードオフを実際のマルチステップローカル更新のバイアスと分散に結び付け、サンプリング最適化問題と、直接モデル平均化による実用的な次元認識近似をもたらす。 言語タスクの実験では、タスクパフォーマンス、クライアントメモリ、データの不均一性の下でのサンプリングについて調べる。 その結果, クライアントメモリの要件が大幅に低くなるため, マルチオーダーのローカルトレーニングがフルFO性能の大部分を維持できることが示唆された。 私たちのコードはhttps://github.com/HKU-WILL-Lab/HO-FLで公開されています。

関連論文リスト

• HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation [12.367106850196409]
  エッジデバイス上の微細調整された大型モデルは、メモリ集約的バックプロパゲーション(BP)によって著しく阻害される 混成次数分割フェデレーションラーニング(HO-SFL)を提案する。
  論文  参考訳（メタデータ） (2026-03-16T03:13:01Z)
• Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-tuning [44.907586955452295]
  大規模言語モデル(LLM)は様々なタスクにまたがるが、標準的な一階述語(FO)の微調整にはかなりのメモリを必要とする。 近年、ゼロオーダー(ZO)最適化はメモリ効率のよいトレーニングパラダイムとして注目されている。 本稿では,FOおよびZO最適化の異なる更新パターンを明らかにするレイヤワイズ分散分析を提案する。 以上の結果から,DiZOはスループットを犠牲にすることなく,コンバージェンスに必要なイテレーションを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2025-02-05T16:03:17Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。