論文の概要: Adaptive Federated LoRA in Heterogeneous Wireless Networks with Independent Sampling

• arxiv url: http://arxiv.org/abs/2505.23555v1
• Date: Thu, 29 May 2025 15:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.942836
• Title: Adaptive Federated LoRA in Heterogeneous Wireless Networks with Independent Sampling
• Title（参考訳）: 独立サンプリングによる異種無線ネットワークにおける適応フェデレーションLoRA
• Authors: Yanzhao Hou, Jiaxiang Geng, Boyu Li, Xiaofeng Tao, Juncheng Wang, Xiaodong Xu, Bing Luo,
• Abstract要約: Federated LoRAは、分散デバイス上で大きな言語モデルを効率的に微調整する技術として登場した。 本稿では,システムとデータの不均一性の両方の下で微調整を行う独立したフェデレーションコンバージェンスウォールクロック時間を提案する。 実験により,本手法は,様々なモデルやデータセットを対象とした最先端手法と比較して,ウォールクロック時間を短縮することを示した。
• 参考スコア（独自算出の注目度）: 15.218221234361922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated LoRA has emerged as a promising technique for efficiently fine-tuning large language models (LLMs) on distributed devices by reducing the number of trainable parameters. However, existing approaches often inadequately overlook the theoretical and practical implications of system and data heterogeneity, thereby failing to optimize the overall training efficiency, particularly in terms of wall-clock time. In this paper, we propose an adaptive federated LoRA strategy with independent client sampling to minimize the convergence wall-clock time of federated fine-tuning under both computation and communication heterogeneity. We first derive a new convergence bound for federated LoRA with arbitrary and independent client sampling, notably without requiring the stringent bounded gradient assumption. Then, we introduce an adaptive bandwidth allocation scheme that accounts for heterogeneous client resources and system bandwidth constraints. Based on the derived theory, we formulate and solve a non-convex optimization problem to jointly determine the LoRA sketching ratios and sampling probabilities, aiming to minimize wall-clock convergence time. An efficient and low-complexity algorithm is developed to approximate the solution. Finally, extensive experiments demonstrate that our approach significantly reduces wall-clock training time compared to state-of-the-art methods across various models and datasets.
• Abstract（参考訳）: Federated LoRAは、トレーニング可能なパラメータの数を減らすことで、分散デバイス上での大規模言語モデル(LLM)を効率的に微調整するための有望なテクニックとして登場した。 しかし、既存のアプローチは、システムとデータの異質性の理論的および実践的な意味を不適切に見落とし、その結果、特にウォールクロック時間の観点から、全体的なトレーニング効率の最適化に失敗する。 本稿では,独立クライアントサンプリングによる適応型フェデレーションLoRA戦略を提案し,計算と通信の不均一性の両面において,フェデレーションファインチューニングの収束壁時間を最小限に抑える。 まず、任意かつ独立なクライアントサンプリングによるフェデレートされたLoRAに対する新しい収束法を導出する。 そして、不均一なクライアントリソースとシステム帯域幅制約を考慮に入れた適応帯域幅割り当て方式を提案する。 導出理論に基づき,壁面収束時間の最小化を目的として,非凸最適化問題を定式化し,LoRAスケッチ率とサンプリング確率を共同で決定する。 解を近似するために、効率的で低複雑さのアルゴリズムを開発した。 最後に,我々の手法は,様々なモデルやデータセットの最先端手法と比較して,ウォールクロックのトレーニング時間を著しく短縮することを示した。

関連論文リスト

• Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks [27.545199007002577]
  フェデレートラーニング(FL)アルゴリズムは、参加者数が大きい場合、各ラウンド(部分的な参加)に少数のクライアントをサンプリングする。 FLの最近の収束解析は、クライアントの不均一性によるスロークロック収束に焦点を当てている。 任意の確率サンプリングによるFLのための新しいトラクタブル収束システムを提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:16:18Z)
• Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
  Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。 近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。 本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T16:51:38Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Tackling System and Statistical Heterogeneity for Federated Learning with Adaptive Client Sampling [34.187387951367526]
  フェデレーテッド・ラーニング(FL)アルゴリズムは、参加者数が大きい場合、通常、各(部分的な参加)の割合をサンプリングする。 最近の研究はFLの収束解析に焦点を当てている。 任意のクライアントサンプリング確率を持つFLアルゴリズムの新しい収束バウンダリを得る。
  論文  参考訳（メタデータ） (2021-12-21T14:28:40Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。