論文の概要: Energizing Federated Learning via Filter-Aware Attention

• arxiv url: http://arxiv.org/abs/2311.12049v1
• Date: Sat, 18 Nov 2023 09:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:50:50.596202
• Title: Energizing Federated Learning via Filter-Aware Attention
• Title（参考訳）: フィルタ認識によるフェデレーション学習の促進
• Authors: Ziyuan Yang, Zerui Shao, Huijie Huangfu, Hui Yu, Andrew Beng Jin Teoh, Xiaoxiao Li, Hongming Shan, Yi Zhang
• Abstract要約: フェデレートラーニング(FL)は有望な分散パラダイムであり、データ共有の必要性を排除しつつ、データの異質性による課題に直面している。 パラメータ再構成にパーソナライズされたフィルタアテンションを利用するFedOFAを提案する。 コアとなるTFAモジュールは、パーソナライズされたフィルタ対応アテンションマップを正確に抽出するように設計されている。 AGPSは、冗長なニューロンを隠蔽しながら重要なニューロンを選択的に保持し、性能犠牲なしに通信コストを低減させる。
• 参考スコア（独自算出の注目度）: 39.17451229130728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a promising distributed paradigm, eliminating the need for data sharing but facing challenges from data heterogeneity. Personalized parameter generation through a hypernetwork proves effective, yet existing methods fail to personalize local model structures. This leads to redundant parameters struggling to adapt to diverse data distributions. To address these limitations, we propose FedOFA, utilizing personalized orthogonal filter attention for parameter recalibration. The core is the Two-stream Filter-aware Attention (TFA) module, meticulously designed to extract personalized filter-aware attention maps, incorporating Intra-Filter Attention (IntraFa) and Inter-Filter Attention (InterFA) streams. These streams enhance representation capability and explore optimal implicit structures for local models. Orthogonal regularization minimizes redundancy by averting inter-correlation between filters. Furthermore, we introduce an Attention-Guided Pruning Strategy (AGPS) for communication efficiency. AGPS selectively retains crucial neurons while masking redundant ones, reducing communication costs without performance sacrifice. Importantly, FedOFA operates on the server side, incurring no additional computational cost on the client, making it advantageous in communication-constrained scenarios. Extensive experiments validate superior performance over state-of-the-art approaches, with code availability upon paper acceptance.
• Abstract（参考訳）: 連合学習(federated learning, fl)は有望な分散パラダイムであり、データ共有の必要性は排除するが、データの多様性から課題に直面する。 ハイパーネットワークによるパーソナライズされたパラメータ生成は有効であるが、既存の手法では局所的なモデル構造をパーソナライズできない。 これにより、冗長なパラメータがさまざまなデータ分散への適応に苦しむことになる。 これらの制約に対処するために,パラメータ再校正にパーソナライズされた直交フィルタを用いたFedOFAを提案する。 Two-stream Filter-aware Attention (TFA)モジュールが中心で、IntraFa(IntraFa)ストリームとInterFA(InterFA)ストリームを組み込んだ、パーソナライズされたフィルタ対応アテンションマップの抽出を巧みに設計されている。 これらのストリームは表現能力を高め、局所モデルの最適暗黙構造を探索する。 直交正則化はフィルタ間の相関を回避することで冗長性を最小化する。 さらに,コミュニケーション効率向上のためのAttention-Guided Pruning Strategy (AGPS)を導入する。 AGPSは、冗長なニューロンを隠蔽しながら重要なニューロンを選択的に保持し、性能犠牲なしに通信コストを削減する。 重要なことは、FedOFAはサーバ側で動作し、クライアントに追加の計算コストがかからず、通信制約のあるシナリオで有利である。 広範な実験によって、最先端のアプローチよりも優れたパフォーマンスが検証され、紙が受け入れられるとコードが得られる。

関連論文リスト

• FedLog: Personalized Federated Classification with Less Communication and More Flexibility [24.030147353437382]
  フェデレーション表現学習(FRL)は、ローカルデータから効果的な特徴抽出によるパーソナライズされたフェデレーションモデルを学習することを目的としている。 オーバヘッドを低減するため、生モデルパラメータの代わりに十分なデータサマリーを共有することを提案する。
  論文  参考訳（メタデータ） (2024-07-11T09:40:29Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Structured Network Pruning by Measuring Filter-wise Interactions [6.037167142826297]
  SNPFI (Structured Network Pruning by Measurement filter-wise Interaction) を用いた構造化ネットワークプルーニング手法を提案する。 刈取中、SNPFIはフィルタ利用強度に基づいて適切な間隔を自動的に割り当てる。 我々はSNPFIの有効性をいくつかの一般的なCNNモデルで実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-03T05:26:05Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Wireless Federated Learning with Limited Communication and Differential Privacy [21.328507360172203]
  本稿では,空力計算(AirComp)に基づくフェデレーション学習(FL)モデルにおいて,リモートユーザにおけるローカルデータセットの効率的な通信と差分プライバシー(DP)における次元性低減の役割について検討する。
  論文  参考訳（メタデータ） (2021-06-01T15:23:12Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。