論文の概要: Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2406.09680v1
• Date: Fri, 14 Jun 2024 03:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 15:13:35.133797
• Title: Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークによる不均一フェデレーション学習
• Authors: Yingchao Yu, Yuping Yan, Jisong Cai, Yaochu Jin,
• Abstract要約: フェデレートラーニング(FL)は、分散データ上でモデルをトレーニングするための有望なパラダイムとして登場した。 この研究は、CNN(Convoluntional Neural Network)とSNN(Biologically more plausible Spiking Neural Network)の両方を含むFLシステムのベンチマークを行う。 CNN-SNN融合フレームワークが最高の性能を示すことを示す実験結果が得られた。
• 参考スコア（独自算出の注目度）: 17.210940028586588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as a promising paradigm for training models on decentralized data while safeguarding data privacy. Most existing FL systems, however, assume that all machine learning models are of the same type, although it becomes more likely that different edge devices adopt different types of AI models, including both conventional analogue artificial neural networks (ANNs) and biologically more plausible spiking neural networks (SNNs). This diversity empowers the efficient handling of specific tasks and requirements, showcasing the adaptability and versatility of edge computing platforms. One main challenge of such heterogeneous FL system lies in effectively aggregating models from the local devices in a privacy-preserving manner. To address the above issue, this work benchmarks FL systems containing both convoluntional neural networks (CNNs) and SNNs by comparing various aggregation approaches, including federated CNNs, federated SNNs, federated CNNs for SNNs, federated SNNs for CNNs, and federated CNNs with SNN fusion. Experimental results demonstrate that the CNN-SNN fusion framework exhibits the best performance among the above settings on the MNIST dataset. Additionally, intriguing phenomena of competitive suppression are noted during the convergence process of multi-model FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保護しつつ、分散データのモデルトレーニングのための有望なパラダイムとして登場した。 しかし、既存のFLシステムの多くは、すべての機械学習モデルは同じタイプであると仮定しているが、異なるエッジデバイスは、従来のアナログ人工ニューラルネットワーク(ANN)と生物学的により高機能なスパイクニューラルネットワーク(SNN)の両方を含む、異なるタイプのAIモデルを採用する可能性が高い。 この多様性は、エッジコンピューティングプラットフォームの適応性と汎用性を示すことで、特定のタスクと要求の効率的な処理を促進する。 このような異種FLシステムの大きな課題の1つは、プライバシー保護の方法でローカルデバイスからモデルを効果的に集約することにある。 上記の問題に対処するために、この研究は、フェデレーションCNN、フェデレーションSNN、フェデレーションCNN、フェデレーションCNN、フェデレーションCNN、フェデレーションCNNとSNN融合を含む様々なアグリゲーションアプローチを比較することで、CNNとSNNの両方を含むFLシステムをベンチマークする。 実験の結果,CNN-SNN融合フレームワークは,MNISTデータセット上において,上記の設定の中で最高の性能を示した。 さらに, 多モデルFLの収束過程において, 競合抑制の興味深い現象が指摘されている。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs [2.1756721838833797]
  フェデレートされた機械学習は、複数のクライアントにわたるモデルトレーニングを可能にする。 Vertical Federated Learning (VFL)は、クライアントが同じサンプルの異なる機能セットを持つインスタンスを扱う。 スパイキングニューラルネットワーク(SNN)は、エッジでの高速かつ正確な処理を可能にするために活用されている。
  論文  参考訳（メタデータ） (2024-07-24T23:31:02Z)
• A Hierarchical Fused Quantum Fuzzy Neural Network for Image Classification [8.7057403071943]
  我々は新しい階層型融合量子ファジィニューラルネットワーク(HQFNN)を提案した。 HQFNNは量子ニューラルネットワークを使用してファジィニューラルネットワークのファジィメンバシップ関数を学習する。 その結果,提案手法は既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T12:09:36Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• Real Spike: Learning Real-valued Spikes for Spiking Neural Networks [11.580346172925323]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、イベント駆動でエネルギー効率のよい特徴により、最近ますます注目を集めている。 本稿では,SNNがパラメータを効果的に削減し,推論効率を向上するウェイトシェアリング機構の恩恵を受けない可能性について論じる。 この仮定により、Real Spikeと名付けられたSNNのトレーニング推論デカップリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-10-13T02:45:50Z)
• Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
  スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。 本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
  論文  参考訳（メタデータ） (2022-05-31T17:02:26Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。