論文の概要: Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation

• arxiv url: http://arxiv.org/abs/2508.06557v1
• Date: Wed, 06 Aug 2025 12:44:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.435467
• Title: Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation
• Title（参考訳）: 常温常温蒸留のためのコミュニケーションラーニング共同設計
• Authors: Zihao Hu, Jia Yan, Ying-Jun Angela Zhang,
• Abstract要約: 本研究では,学習収束率の最大化を目的とした,個人用無線FDにおけるコミュニケーション学習協調設計問題について検討する。 数値的な結果から,提案手法は通信オーバヘッドが大幅に低減された場合,より優れた学習プライバシトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 23.455662261351193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-growing learning model size nowadays challenges the communication efficiency and privacy preservation of the traditional federated learning (FL). In this paper, we propose a novel differentially private (DP) over-the-air federated distillation (FD) framework, where wireless devices (WDs) periodically share noise-perturbed model outputs with the parameter server by harnessing the superposition property of multi-access channels. Accordingly, over-the-air FD enables the shared responsibility of the DP preservation on the low-dimensional disclosed signals among WDs. We study the communication-learning co-design problem in differentially private over-the-air FD, aiming to maximize the learning convergence rate while meeting the transmit power and DP requirements of WDs. The main challenge is rooted in the intractable learning and privacy analysis in over-the-air FD, together with the strong coupling among the decision variables spanning two timescales. To tackle this problem, we first derive the analytical learning convergence rate and privacy losses of WDs, based on which the optimal transceiver design per FD round and long-term training rounds decision are obtained in the closed forms. Numerical results demonstrate that the proposed differentially private over-the-air FD approach achieves a better learning-privacy trade-off with largely-reduced communication overhead than the conventional FL benchmarks.
• Abstract（参考訳）: 現在、成長を続ける学習モデルのサイズは、従来の連邦学習(FL)の通信効率とプライバシー保護に挑戦している。 本稿では,無線機器(WD)が,マルチアクセスチャネルの重ね合わせ特性を利用して,パラメータサーバと周期的にノイズ摂動モデル出力を共有する,新たなDP(FD)オーバー・ザ・エア・フェデレーション(FD)フレームワークを提案する。 これにより、WD間の低次元開示信号に対するDP保存の共有責任を空対FDで実現する。 本稿では,WDの送信電力とDP要件を満たしながら,学習収束率を最大化することを目的とした,個人用無線FDにおけるコミュニケーション学習協調設計問題について検討する。 主な課題は、空中FDにおける難解な学習とプライバシ分析と、2つの時間スケールにまたがる決定変数間の強い結合に根ざしている。 この問題に対処するために,我々はまず,FDラウンド毎の最適トランシーバ設計と長期トレーニングラウンド決定をクローズド形式で得るWDの分析学習収束率とプライバシ損失を導出する。 数値計算により,提案手法は従来のFLベンチマークに比べて,通信オーバーヘッドが大幅に低減された場合の学習プライバシのトレードオフが良好であることが示された。

関連論文リスト

• Optimal Transceiver Design in Over-the-Air Federated Distillation [34.09979141255862]
  本研究では,学習収束率と電力制約の観点から,トランシーバ設計について検討する。 そこで本研究では,空気上凝集に対する最適受信ビームベクトルの探索手法を提案する。 その結果, 提案手法は, 精度をわずかに損なうことなく, 通信の大幅な削減を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-07-21T05:37:08Z)
• Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs [0.13108652488669734]
  フェデレートラーニング(FL)は、分散トレーニングを可能にするが、高いコミュニケーションコストに悩まされる。 差分的プライベート(DP)生成モデルを用いたデータ共有手法を提案する。 クライアントは、グローバルでプライバシを意識したデータ配布をモデル化するために、差分的にプライベートな条件変分自動エンコーダ(DP-CVAE)を共同でトレーニングする。
  論文  参考訳（メタデータ） (2025-07-03T14:36:15Z)
• Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
  フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:22:21Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Federated Distillation: A Survey [73.08661634882195]
  Federated Learning (FL)は、個々のクライアントからプライベートトレーニングデータを共有せずに、モデルを協調的にトレーニングすることを目指している。 FLへの知識蒸留の統合が提案され、Federated Distillation(FD)と呼ばれるものを形成する。 FDはクライアントとサーバ間のより柔軟な知識伝達を可能にし、単なるモデルパラメータの共有を超越します。
  論文  参考訳（メタデータ） (2024-04-02T03:42:18Z)
• Differentially Private Over-the-Air Federated Learning Over MIMO Fading Channels [24.534729104570417]
  フェデレートラーニング(FL)は、エッジデバイスが機械学習モデルを協調的にトレーニングすることを可能にする。 オーバー・ザ・エアのモデルアグリゲーションは通信効率を向上させるが、無線ネットワーク上のエッジサーバにモデルをアップロードすると、プライバシのリスクが生じる可能性がある。 FLモデルとマルチアンテナサーバとの通信がプライバシー漏洩を増幅することを示す。
  論文  参考訳（メタデータ） (2023-06-19T14:44:34Z)
• Differentially Private Wireless Federated Learning Using Orthogonal Sequences [56.52483669820023]
  本稿では,FLORAS と呼ばれる AirComp 法を提案する。 FLORASはアイテムレベルとクライアントレベルの差分プライバシー保証の両方を提供する。 新たなFL収束バウンダリが導出され、プライバシー保証と組み合わせることで、達成された収束率と差分プライバシーレベルのスムーズなトレードオフが可能になる。
  論文  参考訳（メタデータ） (2023-06-14T06:35:10Z)
• Voting-based Approaches For Differentially Private Federated Learning [87.2255217230752]
  この研究はPapernotらによる非フェデレーションプライバシ学習の知識伝達にインスパイアされている。 我々は,各局所モデルから返されるデータラベル間で投票を行うことで,勾配を平均化する代わりに2つの新しいDPFLスキームを設計する。 我々のアプローチはDPFLの最先端技術に対するプライバシーとユーティリティのトレードオフを大幅に改善します。
  論文  参考訳（メタデータ） (2020-10-09T23:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。