論文の概要: Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels

• arxiv url: http://arxiv.org/abs/2310.16407v2
• Date: Sat, 16 Dec 2023 04:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 20:00:31.651142
• Title: Information-Theoretic Generalization Analysis for Topology-aware Heterogeneous Federated Edge Learning over Noisy Channels
• Title（参考訳）: トポロジーアウェア不均質フェデレーションエッジ学習におけるノイズチャネル上の情報理論一般化解析
• Authors: Zheshun Wu, Zenglin Xu, Hongfang Yu, Jie Liu
• Abstract要約: 位相対応フェデレーションエッジラーニング(FEEL)のための情報理論一般化分析法を提案する。 ノイズの多いチャネル上でモデルパラメータを送信し、様々な環境でデータを収集するモバイルデバイスは、訓練されたモデルの一般化に挑戦する。 本稿では,フェデレート・グローバル・ミューチュアル・インフォメーション・リダクション(FedGMIR)と呼ばれる新たな正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 31.698039947184895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid growth of edge intelligence, the deployment of federated learning (FL) over wireless networks has garnered increasing attention, which is called Federated Edge Learning (FEEL). In FEEL, both mobile devices transmitting model parameters over noisy channels and collecting data in diverse environments pose challenges to the generalization of trained models. Moreover, devices can engage in decentralized FL via Device-to-Device communication while the communication topology of connected devices also impacts the generalization of models. Most recent theoretical studies overlook the incorporation of all these effects into FEEL when developing generalization analyses. In contrast, our work presents an information-theoretic generalization analysis for topology-aware FEEL in the presence of data heterogeneity and noisy channels. Additionally, we propose a novel regularization method called Federated Global Mutual Information Reduction (FedGMIR) to enhance the performance of models based on our analysis. Numerical results validate our theoretical findings and provide evidence for the effectiveness of the proposed method.
• Abstract（参考訳）: エッジインテリジェンス(エッジインテリジェンス)の急速な成長に伴い、無線ネットワーク上でのフェデレーション学習(FL)の展開は、フェデレーションエッジラーニング(FEEL)と呼ばれる注目度が高まっている。 モバイル機器がノイズの多いチャネル上でモデルパラメータを送信し、多様な環境でデータを集めることは、トレーニングされたモデルの一般化に困難をもたらす。 さらに、デバイスはデバイス間通信を介して分散flを行うことができ、接続されたデバイスの通信トポロジーはモデルの一般化にも影響を及ぼす。 最近の理論的研究は、一般化分析を開発する際にこれらすべての効果をFEELに組み込むことを見落としている。 対照的に本研究は,データの不均一性とノイズチャネルの存在下でのトポロジー認識に対する情報論的一般化解析を提案する。 さらに,FedGMIR(Federated Global Mutual Information Reduction)と呼ばれる新たな正規化手法を提案する。 数値実験により,提案手法の有効性を検証し,その検証を行った。

関連論文リスト

• Generative AI for Physical Layer Communications: A Survey [76.61956357178295]
  生成人工知能(GAI)は、デジタルコンテンツ生産の効率を高める可能性がある。 複雑なデータ分散を分析するGAIの能力は、無線通信にとって大きな可能性を秘めている。 本稿では、信号分類、チャネル推定、等化といった従来の問題から、インテリジェントな反射面やジョイントソースチャネル符号化といった新たなトピックまで、GAIの物理層での通信への応用に関する包括的な調査を行う。
  論文  参考訳（メタデータ） (2023-12-09T15:20:56Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Decentralized Event-Triggered Federated Learning with Heterogeneous Communication Thresholds [12.513477328344255]
  ネットワークグラフトポロジ上での非同期なイベントトリガーによるコンセンサス反復による分散モデルアグリゲーションのための新しい手法を提案する。 本手法は,分散学習とグラフコンセンサス文学における標準的な仮定の下で,グローバルな最適学習モデルを実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-07T20:35:37Z)
• Spatio-Temporal Federated Learning for Massive Wireless Edge Networks [23.389249751372393]
  エッジサーバと多数のモバイルデバイス(クライアント)は、モバイルデバイスが収集した膨大なデータをエッジサーバに転送することなく、グローバルモデルを共同で学習する。 提案手法は,STFLに参加する予定の様々なモバイルデバイスからの学習更新の空間的および時間的相関を利用している。 収束性能を用いてSTFLの学習能力を研究するために,STFLの分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-27T16:46:45Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified Communication-Learning Design Approach [30.1988598440727]
  我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。 数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-11-20T08:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。