論文の概要: OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2506.20297v1
- Date: Wed, 25 Jun 2025 10:18:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.692255
- Title: OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning
- Title（参考訳）: OLALa: 不均一なフェデレーション学習のためのオンライン学習型適応格子符号
- Authors: Natalie Lang, Maya Simhi, Nir Shlezinger,
- Abstract要約: フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なトレーニングを可能にする。
本稿では,オンライン学習適応格子(OLALa)を提案する。これは不均一なFLフレームワークで,各クライアントがその量子化器をオンラインで調整することができる。
OLALaは、様々な量子化レートでの学習性能を継続的に改善し、従来の固定コードブックや非適応方式よりも優れています。
- 参考スコア（独自算出の注目度）: 24.595304301100047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables collaborative training across distributed clients without sharing raw data, often at the cost of substantial communication overhead induced by transmitting high-dimensional model updates. This overhead can be alleviated by having the clients quantize their model updates, with dithered lattice quantizers identified as an attractive scheme due to its structural simplicity and convergence-preserving properties. However, existing lattice-based FL schemes typically rely on a fixed quantization rule, which is suboptimal in heterogeneous and dynamic environments where the model updates distribution varies across users and training rounds. In this work, we propose Online Learned Adaptive Lattices (OLALa), a heterogeneous FL framework where each client can adjust its quantizer online using lightweight local computations. We first derive convergence guarantees for FL with non-fixed lattice quantizers and show that proper lattice adaptation can tighten the convergence bound. Then, we design an online learning algorithm that enables clients to tune their quantizers throughout the FL process while exchanging only a compact set of quantization parameters. Numerical experiments demonstrate that OLALa consistently improves learning performance under various quantization rates, outperforming conventional fixed-codebook and non-adaptive schemes.
- Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なトレーニングを可能にする。
このオーバーヘッドは、クライアントがモデル更新を定量化することで軽減され、拡張格子量子化器はその構造的単純さと収束保存特性のために魅力的なスキームとして特定される。
しかし、既存の格子ベースのFLスキームは、モデル更新分布がユーザによって異なる異種および動的環境において最適である固定量子化規則に依存するのが一般的である。
本研究では,各クライアントが軽量な局所計算を用いて量子化器をオンラインで調整できる不均一なFLフレームワークであるOnline Learned Adaptive Lattices (OLALa)を提案する。
まず、非固定格子量子化器によるFLの収束保証を導出し、適切な格子適応が収束境界を締め付けることを示す。
そして、クライアントが量子化パラメータのコンパクトなセットのみを交換しながら、FLプロセス全体を通して量子化器をチューニングできるオンライン学習アルゴリズムを設計する。
数値実験により、OLALaは様々な量子化レートでの学習性能を一貫して改善し、従来の定型コードブックや非適応型スキームよりも優れていた。
関連論文リスト
- An Adaptive ML Framework for Power Converter Monitoring via Federated Transfer Learning [0.0]
本研究では、熱機械学習モデル(ML)をパワーコンバータに適用するための代替フレームワーク構成について検討する。
フレームワークは、3つの最先端のドメイン適応技術を適用することで、複数のクライアントによって漸進的に適応されるベースモデルから始まります。
フィールドデータによる検証は、ファインチューニングが簡単なTLアプローチを高精度に提供し、実用的な応用に適していることを示す。
論文 参考訳（メタデータ） (2025-04-23T16:39:54Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Efficient Model Compression for Hierarchical Federated Learning [10.37403547348343]
フェデレートラーニング(FL)は、分散ラーニングシステム内のプライバシを保護する能力のために、大きな注目を集めている。
本稿では,クラスタ化FLとモデル圧縮の利点を統合した新しい階層型FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-27T12:17:47Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。
$textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。
$textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - AQUILA: Communication Efficient Federated Learning with Adaptive
Quantization in Device Selection Strategy [27.443439653087662]
本稿では,これらの問題に対処するために考案された新しい適応型フレームワークであるAQUILA(Adaptive Quantization in Device selection Strategy)を紹介する。
AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。
実験の結果,AQUILAは既存の手法に比べて通信コストを大幅に削減できることがわかった。
論文 参考訳（メタデータ） (2023-08-01T03:41:47Z) - Adaptive Quantization of Model Updates for Communication-Efficient
Federated Learning [75.45968495410047]
クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。
グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。
通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
論文 参考訳（メタデータ） (2021-02-08T19:14:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。