論文の概要: Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
- arxiv url: http://arxiv.org/abs/2605.17552v1
- Date: Sun, 17 May 2026 17:23:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.137387
- Title: Q-LocalAdam: Memory-Efficient Client-Side Adaptive Optimization for Edge Federated Learning
- Title（参考訳）: Q-LocalAdam:エッジフェデレーション学習のためのメモリ効率の良いクライアントサイド適応最適化
- Authors: Vedant Waykole, Haroon R. Lone,
- Abstract要約: エッジデバイス上でのフェデレーション学習は、IID以外のクライアントデータと厳しいメモリ予算に対処する必要がある。
分散を意識した8ビット量子化ブロックワイド線形符号化と分散のためのログ空間符号化を応用したtextbfQ-LocalAdam を提案する。
- 参考スコア（独自算出の注目度）: 1.4610038284393168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning on edge devices must cope with non-IID client data and tight memory budgets. Adaptive optimizers like Adam stabilize training under data heterogeneity but require storing full-precision momentum and variance states, often tripling client memory overhead. This limits deployable model sizes and concurrent federated jobs on resource-constrained devices. We empirically observe that momentum and variance in federated Adam exhibit fundamentally different statistical properties: momentum values are symmetric and bounded, while variance spans eight orders of magnitude with log-normal structure. Motivated by this asymmetry, we propose \textbf{Q-LocalAdam}, which applies distribution-aware 8-bit quantization block-wise linear encoding for momentum and log-space encoding for variance while keeping model parameters in full precision. Across CIFAR-10 and CIFAR-100 under varying data heterogeneity ($α\in \{0.1, 0.5, 1.0, \text{IID}\}$), Q-LocalAdam achieves $3.37\times$ optimizer memory reduction with no accuracy loss under moderate heterogeneity and significant improvements under extreme heterogeneity (e.g., +5.74pp on CIFAR-100, $α=0.1$). Multi-seed validation confirms statistical significance ($p<0.01$). In contrast, naive uniform quantization degrades to random performance, demonstrating that distribution-aware design is essential. Q-LocalAdam enables larger models and more concurrent workloads on memory-constrained edge devices without modifying the federated protocol.
- Abstract（参考訳）: エッジデバイス上でのフェデレーション学習は、IID以外のクライアントデータと厳しいメモリ予算に対処する必要がある。
Adamのような適応型オプティマイザは、データの均一性の下でトレーニングを安定化するが、フル精度のモーメントと分散状態を格納する必要がある。
これにより、リソース制約のあるデバイス上でのデプロイ可能なモデルサイズと同時フェデレーションジョブが制限される。
我々は、連合アダムの運動量と分散が基本的に異なる統計的性質を示すことを経験的に観察する:運動量値は対称で有界であり、分散は対数正規構造を持つ8桁の等級にまたがる。
この非対称性を動機として,分布を意識した8ビット量子化ブロックワイド線形符号化と,モデルパラメータを完全精度で保ちながら分散の対数空間符号化を応用した \textbf{Q-LocalAdam} を提案する。
CIFAR-10 と CIFAR-100 は、様々なデータヘテロジニティ (α\in \{0.1, 0.5, 1.0, \text{IID}\}$), Q-LocalAdam は、適度なヘテロジニティの下での精度の低下と極端なヘテロジニティ (CIFAR-100 では +5.74pp, $α=0.1$) による大幅な改善を伴わず、$ $3.37 のオプティマイザメモリ削減を達成した。
マルチシード検証は、統計的重要性(p<0.01$)を確認する。
対照的に、一様量子化はランダムな性能に低下し、分布認識設計が不可欠であることを示す。
Q-LocalAdamは、フェデレートされたプロトコルを変更することなく、メモリ制約のあるエッジデバイス上で、より大きなモデルとより並列的なワークロードを可能にする。
関連論文リスト
- Rethinking Language Model Scaling under Transferable Hypersphere Optimization [67.38433364607897]
モデル幅、深さ、トレーニングトークン、エキスパート・オブ・エキスパート(MoE)間で最適な学習率を転送する最初のフレームワークであるHyperPを紹介します。
単一のベースレートでHyperPの計算予算をまたいだデータ転送を調整し、強力な Muon ベースラインを 6times1021$ FLOPs で1.58 タイムで達成した。
また、超球面制約から派生したMoEゲーティング機構であるSqrtGateを提案し、MoEの粒度にわたって出力RMSを保存する。
論文 参考訳（メタデータ） (2026-03-30T17:51:47Z) - Perfectly-Private Analog Secure Aggregation in Federated Learning [51.61616734974475]
連合学習では、複数のパーティがモデルをローカルにトレーニングし、パラメータを中央サーバと共有する。
本稿では,有限場ではなくトーラスを用いた新しいセキュアパラメータアグリゲーション法を提案する。
論文 参考訳（メタデータ） (2025-09-10T15:22:40Z) - Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。
動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。
これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
論文 参考訳（メタデータ） (2025-07-14T16:19:00Z) - Quaff: Quantized Parameter-Efficient Fine-Tuning under Outlier Spatial Stability Hypothesis [9.884521812433661]
Quaffは、大規模言語モデルのための量子化されたパラメータ効率の微調整フレームワークである。
軽量な操作を使用して、排他的な不変チャネルを抑える。
1.73倍のレイテンシ削減を実現し、30パーセントのメモリ節約を実現している。
論文 参考訳（メタデータ） (2025-05-20T07:19:36Z) - Flag Aggregator: Scalable Distributed Training under Failures and
Augmented Losses using Convex Optimization [14.732408788010313]
MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。
計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。
これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。
この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2023-02-12T06:38:30Z) - Heterogeneous Federated Learning on a Graph [9.135254524746847]
ローカルデータを共有せずに複数の分散デバイスでアルゴリズムをトレーニングするフェデレーション学習は、機械学習の実践でますます人気を集めている。
本研究では,データ分散と通信の不均一性を伴うフェデレート学習繰り返しにおけるパラメータ推定と,ローカル機器の計算能力の制限について考察する。
我々のアルゴリズムは収束率$O(T-1log T)$で$G$のエッジに沿ってパラメータのみを送信する。
論文 参考訳（メタデータ） (2022-09-19T03:18:10Z) - Optimizing the Communication-Accuracy Trade-off in Federated Learning
with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。
本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。
量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文 参考訳（メタデータ） (2022-01-07T20:17:33Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。