論文の概要: A Federated Fine-Tuning Paradigm of Foundation Models in Heterogenous Wireless Networks

• arxiv url: http://arxiv.org/abs/2509.19306v1
• Date: Fri, 05 Sep 2025 06:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-28 15:30:14.40426
• Title: A Federated Fine-Tuning Paradigm of Foundation Models in Heterogenous Wireless Networks
• Title（参考訳）: 異種無線ネットワークにおけるファンデーションモデルのファインチューニングパラダイム
• Authors: Jingyi Wang, Zhongyuan Zhao, Qingtian Wang, Zexu Li, Yue Wang, Tony Q. S. Quek,
• Abstract要約: エッジデバイスは、基地局とのファインチューニングのためのLoRAモジュールを動的に切り替え、異種伝送の影響を緩和する。 計算複雑性の問題を解決するために,オンライン最適化アルゴリズムを開発した。 SST-2およびQNLIデータセットのシミュレーション結果は、試験精度とエネルギー効率における性能向上を示す。
• 参考スコア（独自算出の注目度）: 43.049216349313575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Edge intelligence has emerged as a promising strategy to deliver low-latency and ubiquitous services for mobile devices. Recent advances in fine-tuning mechanisms of foundation models have enabled edge intelligence by integrating low-rank adaptation (LoRA) with federated learning. However, in wireless networks, the device heterogeneity and resource constraints on edge devices pose great threats to the performance of federated fine-tuning. To tackle these issues, we propose to optimize federated fine-tuning in heterogenous wireless networks via online learning. First, the framework of switching-based federated fine-tuning in wireless networks is provided. The edge devices switches to LoRA modules dynamically for federated fine-tuning with base station to jointly mitigate the impact of device heterogeneity and transmission unreliability. Second, a tractable upper bound on the inference risk gap is derived based on theoretical analysis. To improve the generalization capability, we formulate a non-convex mixed-integer programming problem with long-term constraints, and decouple it into model switching, transmit power control, and bandwidth allocation subproblems. An online optimization algorithm is developed to solve the problems with polynomial computational complexity. Finally, the simulation results on the SST-2 and QNLI data sets demonstrate the performance gains in test accuracy and energy efficiency.
• Abstract（参考訳）: エッジインテリジェンスは、モバイルデバイスに低レイテンシでユビキタスなサービスを提供するための有望な戦略として登場した。 基礎モデルの微調整機構の最近の進歩により,ローランク適応(LoRA)とフェデレート学習を統合することにより,エッジインテリジェンスを実現している。 しかし、無線ネットワークでは、エッジデバイス上のデバイスの不均一性とリソース制約は、フェデレートされた微調整の性能に大きな脅威をもたらす。 これらの課題に対処するために,オンライン学習による異種無線ネットワークにおけるファインチューニングの最適化を提案する。 まず、無線ネットワークにおけるスイッチングベースのフェデレーションファインチューニングの枠組みを提供する。 エッジデバイスは、基地局とのファインチューニングのためのLoRAモジュールを動的に切り替え、デバイスの不均一性と伝送不確実性の影響を共同で軽減する。 第二に、理論解析に基づいて、推論リスクギャップ上の引き込み可能な上限を導出する。 一般化能力を向上させるために,非凸混合整数計画問題を長期制約で定式化し,それをモデルスイッチング,送信電力制御,帯域幅割り当てサブプロブレムに分離する。 多項式計算複雑性の問題を解くために,オンライン最適化アルゴリズムを開発した。 最後に、SST-2およびQNLIデータセットのシミュレーション結果から、試験精度とエネルギー効率が向上したことを示す。

関連論文リスト

• Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
  Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。 閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。 LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
  論文  参考訳（メタデータ） (2025-07-13T09:14:17Z)
• Noise Resilient Over-The-Air Federated Learning In Heterogeneous Wireless Networks [2.2530496464901106]
  6G無線ネットワークでは、人工知能(AI)駆動のアプリケーションはフェデレートラーニング(FL)の採用を要求する。 従来のOTA-FL技術は、サーバにおけるAWGN(Additive White Gaussian Noise)と、エッジデバイスにおけるデータおよびシステム不均一性の両面から影響を受けている。 我々は,これらの課題に共同で取り組むために,新しいノイズ耐性オーバーザエアフェデレートラーニング(NoROTA-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-25T11:04:00Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
  Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。 従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。 エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。 我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
  論文  参考訳（メタデータ） (2024-09-29T01:48:04Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。