論文の概要: Optimal Transceiver Design in Over-the-Air Federated Distillation

• arxiv url: http://arxiv.org/abs/2507.15256v1
• Date: Mon, 21 Jul 2025 05:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.269474
• Title: Optimal Transceiver Design in Over-the-Air Federated Distillation
• Title（参考訳）: 過熱蒸留における最適送電器設計
• Authors: Zihao Hu, Jia Yan, Ying-Jun Angela Zhang, Jun Zhang, Khaled B. Letaief,
• Abstract要約: 本研究では,学習収束率と電力制約の観点から,トランシーバ設計について検討する。 そこで本研究では,空気上凝集に対する最適受信ビームベクトルの探索手法を提案する。 その結果, 提案手法は, 精度をわずかに損なうことなく, 通信の大幅な削減を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 34.09979141255862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid proliferation and growth of artificial intelligence (AI) has led to the development of federated learning (FL). FL allows wireless devices (WDs) to cooperatively learn by sharing only local model parameters, without needing to share the entire dataset. However, the emergence of large AI models has made existing FL approaches inefficient, due to the significant communication overhead required. In this paper, we propose a novel over-the-air federated distillation (FD) framework by synergizing the strength of FL and knowledge distillation to avoid the heavy local model transmission. Instead of sharing the model parameters, only the WDs' model outputs, referred to as knowledge, are shared and aggregated over-the-air by exploiting the superposition property of the multiple-access channel. We shall study the transceiver design in over-the-air FD, aiming to maximize the learning convergence rate while meeting the power constraints of the transceivers. The main challenge lies in the intractability of the learning performance analysis, as well as the non-convex nature and the optimization spanning the whole FD training period. To tackle this problem, we first derive an analytical expression of the convergence rate in over-the-air FD. Then, the closed-form optimal solutions of the WDs' transmit power and the estimator for over-the-air aggregation are obtained given the receiver combining strategy. Accordingly, we put forth an efficient approach to find the optimal receiver beamforming vector via semidefinite relaxation. We further prove that there is no optimality gap between the original and relaxed problem for the receiver beamforming design. Numerical results will show that the proposed over-the-air FD approach achieves a significant reduction in communication overhead, with only a minor compromise in testing accuracy compared to conventional FL benchmarks.
• Abstract（参考訳）: 人工知能(AI)の急速な普及と成長は、連邦学習(FL)の発展につながった。 FLは、データセット全体を共有することなく、ローカルモデルパラメータのみを共有することで、無線デバイス(WD)が協調的に学習することを可能にする。 しかし、大規模なAIモデルの出現により、既存のFLアプローチが非効率になった。 本稿では, FLの強度と知識蒸留を相乗化して, 局部モデル伝送の重大化を回避することにより, 空調式過熱蒸留(FD)フレームワークを提案する。 モデルパラメータを共有する代わりに、WDsのモデル出力(知識と呼ばれる)のみが共有され、マルチアクセスチャネルの重ね合わせ特性を利用する。 我々は,トランスシーバの電力制約を満たしつつ,学習収束率を最大化することを目的とした,超空FDにおけるトランシーバ設計について検討する。 主な課題は、学習パフォーマンス分析の難しさと非凸性、FDトレーニング期間全体にわたる最適化である。 この問題に対処するため, オーバーザエアFDにおける収束率の解析式を導出する。 そして、受信機結合戦略により、WDsの送信電力の閉形式最適解と、大気上におけるアグリゲーション推定器を得る。 そこで我々は,半定緩和による最適受信機ビームフォーミングベクトルを見つけるための効率的な手法を考案した。 さらに、受信機ビームフォーミング設計において、元の問題と緩和された問題の間に最適性ギャップがないことを証明した。 数値計算により,従来のFLベンチマークと比較すると,通信オーバーヘッドが大幅に低減され,精度が若干の妥協しか得られないことがわかった。

関連論文リスト

• Biased Federated Learning under Wireless Heterogeneity [7.3716675761469945]
  Federated Learning(FL)は計算のための有望なフレームワークであり、プライベートデータを共有せずに協調的なモデルトレーニングを可能にする。 既存の無線計算処理では,(1)無線信号重畳を利用するOTA(Over-the-air)と(2)収束のためのリソースを割り当てるOTA(Over-the-air)の2つの通信戦略が採用されている。 本稿では,新しいOTAおよびデジタルFL更新を提案する。
  論文  参考訳（メタデータ） (2025-03-08T05:55:14Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Random Orthogonalization for Federated Learning in Massive MIMO Systems [85.71432283670114]
  大規模マルチインプット・マルチアウトプット(MIMO)無線システムにおいて,フェデレートラーニング(FL)のための新しい通信設計を提案する。 ランダム直交化の主な特徴は、FLの密結合と、チャネル硬化と良好な伝播の2つの特徴から生じる。 我々は、この原理をダウンリンク通信フェーズに拡張し、FLの簡易かつ高効率なモデル放送法を開発する。
  論文  参考訳（メタデータ） (2022-10-18T14:17:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Joint Optimization of Communications and Federated Learning Over the Air [32.14738452396869]
  Federated Learning(FL)は、データプライバシーを保護しながら、リッチな分散データを利用するための魅力的なパラダイムです。 本稿では,リアル無線ネットワークにおけるアナログアグリゲーション伝送に基づく通信とFLの協調最適化について検討する。
  論文  参考訳（メタデータ） (2021-04-08T03:38:31Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Federated Learning in the Sky: Joint Power Allocation and Scheduling with UAV Swarms [98.78553146823829]
  無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。 本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T14:04:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。