論文の概要: A Two-Timescale Approach for Wireless Federated Learning with Parameter Freezing and Power Control

• arxiv url: http://arxiv.org/abs/2504.01752v1
• Date: Wed, 02 Apr 2025 14:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:03.903099
• Title: A Two-Timescale Approach for Wireless Federated Learning with Parameter Freezing and Power Control
• Title（参考訳）: パラメータ凍結と電力制御による無線フェデレーション学習のための2時間的アプローチ
• Authors: Jinhao Ouyang, Yuan Liu, Hang Liu,
• Abstract要約: フェデレートラーニング(FL)は、分散デバイスが共有機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 モバイルデバイスは、モデルパラメータの計算・通信コストの増大に悩まされる。 凍結安定化パラメータの協調最適化と送信電力制御による2時間スケールFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.933362098579029
• License:
• Abstract: Federated learning (FL) enables distributed devices to train a shared machine learning (ML) model collaboratively while protecting their data privacy. However, the resource-limited mobile devices suffer from intensive computation-and-communication costs of model parameters. In this paper, we observe the phenomenon that the model parameters tend to be stabilized long before convergence during training process. Based on this observation, we propose a two-timescale FL framework by joint optimization of freezing stabilized parameters and controlling transmit power for the unstable parameters to balance the energy consumption and convergence. First, we analyze the impact of model parameter freezing and unreliable transmission on the convergence rate. Next, we formulate a two-timescale optimization problem of parameter freezing percentage and transmit power to minimize the model convergence error subject to the energy budget. To solve this problem, we decompose it into parallel sub-problems and decompose each sub-problem into two different timescales problems using the Lyapunov optimization method. The optimal parameter freezing and power control strategies are derived in an online fashion. Experimental results demonstrate the superiority of the proposed scheme compared with the benchmark schemes.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散デバイスがデータのプライバシを保護しながら、共有機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 しかし、リソース制限されたモバイルデバイスは、モデルパラメータの集中的な計算・通信コストに悩まされる。 本稿では,モデルパラメータがトレーニングプロセス中に収束するずっと前に安定する傾向にある現象を観察する。 本研究では, 凍結安定化パラメータの連成最適化と不安定パラメータの送信電力制御により, エネルギー消費と収束のバランスをとる2時間スケールFLフレームワークを提案する。 まず,モデルパラメータの凍結と信頼できない伝達が収束率に与える影響を解析する。 次に、パラメータ凍結率の2時間スケール最適化問題を定式化し、エネルギー予算を考慮したモデル収束誤差を最小限に抑えるために電力を送信する。 この問題を解決するため、並列サブプロブレムに分解し、リアプノフ最適化法を用いて各サブプロブレムを2つの異なる時間スケールに分解する。 最適パラメータ凍結と電力制御戦略はオンライン方式で導出される。 実験により,提案手法がベンチマーク方式よりも優れていることを示す。

関連論文リスト

• Mitigating Parameter Degeneracy using Joint Conditional Diffusion Model for WECC Composite Load Model in Power Systems [2.7212274374272543]
  連立条件拡散モデルに基づく逆問題解法(JCDI)を開発した。 JCDIは、パラメータの一般化性を改善するために、マルチイベント観測を同時に入力するジョイントコンディショニングアーキテクチャを組み込んでいる。 WECC CLMのシミュレーション研究により、提案したJCDIは縮退パラメータの不確かさを効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-11-15T18:53:08Z)
• Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
  Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。 FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。 本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T20:57:22Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• An Artificial Neural Network-Based Model Predictive Control for Three-phase Flying Capacitor Multi-Level Inverter [2.3513645401551333]
  モデル予測制御(MPC)は、単純な概念、高速な動的応答、優れた参照追跡のため、パワーエレクトロニクスで広く使われている。 最適なスイッチング状態を予測するためにシステムの数学的モデルに依存するため、パラメトリックな不確実性に悩まされる。 本稿では,ニューラルネットワーク(ANN)に基づくモデルフリー制御戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-15T13:54:08Z)
• Embedding Power Flow into Machine Learning for Parameter and State Estimation [4.416484585765027]
  現代の機械学習(ML)が反復ループをより効率的に解決できることを示す。 提案手法は不完全観測の場合まで拡張し, ファザー計測ユニットは発電機でのみ利用可能である。 実装の観点から考えると、パラメータと状態推定問題を解くという私たちの方法論は、MLフレームワークのトレーニングループにPower Flow(PF)ソルバを埋め込むことと見なすことができる。
  論文  参考訳（メタデータ） (2021-03-26T04:16:20Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Gradient Statistics Aware Power Control for Over-the-Air Federated Learning [59.40860710441232]
  フェデレートラーニング(FL)は、多くのエッジデバイスが無線ネットワークで機械学習モデルを協調的にトレーニングできる有望なテクニックである。 本稿では、勾配統計を考慮に入れたオーバー・ザ・エアFLの電力制御問題について検討する。
  論文  参考訳（メタデータ） (2020-03-04T14:06:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。