論文の概要: Learnability and Robustness of Shallow Neural Networks Learned With a
Performance-Driven BP and a Variant PSO For Edge Decision-Making
- arxiv url: http://arxiv.org/abs/2008.06135v1
- Date: Thu, 13 Aug 2020 23:33:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 22:29:30.585397
- Title: Learnability and Robustness of Shallow Neural Networks Learned With a
Performance-Driven BP and a Variant PSO For Edge Decision-Making
- Title（参考訳）: パフォーマンス駆動bpとエッジ意思決定のためのpsoを用いた浅層ニューラルネットワークの学習可能性とロバスト性
- Authors: Hongmei He, Mengyuan Chen, Gang Xu, Zhilong Zhu, Zhenhuan Zhu
- Abstract要約: エッジデバイスに複雑なAIモデルを実装するのは容易ではないかもしれない。
普遍近似定理(Universal Approximation Theorem)は、浅いニューラルネットワーク(SNN)が任意の非線形関数を表現できると述べている。
SNNの学習可能性と堅牢性を検討するために,2つの実験群が実施された。
- 参考スコア（独自算出の注目度）: 6.011027400738812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many cases, the computing resources are limited without the benefit from
GPU, especially in the edge devices of IoT enabled systems. It may not be easy
to implement complex AI models in edge devices. The Universal Approximation
Theorem states that a shallow neural network (SNN) can represent any nonlinear
function. However, how fat is an SNN enough to solve a nonlinear
decision-making problem in edge devices? In this paper, we focus on the
learnability and robustness of SNNs, obtained by a greedy tight force heuristic
algorithm (performance driven BP) and a loose force meta-heuristic algorithm (a
variant of PSO). Two groups of experiments are conducted to examine the
learnability and the robustness of SNNs with Sigmoid activation,
learned/optimised by KPI-PDBPs and KPI-VPSOs, where, KPIs (key performance
indicators: error (ERR), accuracy (ACC) and $F_1$ score) are the objectives,
driving the searching process. An incremental approach is applied to examine
the impact of hidden neuron numbers on the performance of SNNs,
learned/optimised by KPI-PDBPs and KPI-VPSOs. From the engineering prospective,
all sensors are well justified for a specific task. Hence, all sensor readings
should be strongly correlated to the target. Therefore, the structure of an SNN
should depend on the dimensions of a problem space. The experimental results
show that the number of hidden neurons up to the dimension number of a problem
space is enough; the learnability of SNNs, produced by KPI-PDBP, is better than
that of SNNs, optimized by KPI-VPSO, regarding the performance and learning
time on the training data sets; the robustness of SNNs learned by KPI-PDBPs and
KPI-VPSOs depends on the data sets; and comparing with other classic machine
learning models, ACC-PDBPs win for almost all tested data sets.
- Abstract（参考訳）: 多くの場合、コンピューティングリソースはgpuの恩恵を受けることなく、特にiot対応システムのエッジデバイスで制限される。
エッジデバイスに複雑なAIモデルを実装するのは容易ではないかもしれない。
Universal Approximation Theoremは、浅いニューラルネットワーク(SNN)はどんな非線形関数でも表現できると述べている。
しかし、エッジデバイスにおける非線形決定問題を解くのに十分なSNNの太さはどの程度あるのか?
本稿では,強靭な強力ヒューリスティックアルゴリズム(パフォーマンス駆動BP)と緩やかな力メタヒューリスティックアルゴリズム(PSOの変種)によって得られるSNNの学習性と堅牢性に着目した。
KPI-PDBPsとKPI-VPSOsで学習・最適化されたSNNの学習可能性と頑健性を調べるために,KPI (key performance indicators: error (ERR), accuracy (ACC), $F_1$ score) の2つの実験を行った。
KPI-PDBPとKPI-VPSOによって学習・最適化されたSNNの性能に及ぼす隠れたニューロン数の影響を検討するために,漸進的なアプローチを適用した。
エンジニアリングの見通しからすると、すべてのセンサーは特定のタスクに対して十分に正当化されています。
したがって、すべてのセンサ読み取りはターゲットと強く相関するべきである。
したがって、SNNの構造は問題空間の次元に依存するべきである。
KPI-PDBPが生成するSNNの学習性は、トレーニングデータセットの性能と学習時間に関してKPI-VPSOが最適化したSNNよりも優れており、KPI-PDBPとKPI-VPSOが学習したSNNの堅牢性はデータセットに依存しており、他の古典的機械学習モデルと比較すると、ACC-PDBPがほぼ全てのテストデータセットで勝利する。
関連論文リスト
- Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-01-19T23:48:04Z) - Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees [36.14499894307206]
スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。
本稿では,入力依存停止時に発生する決定に対して,信頼性を保証する新しい遅延適応型SNNベースの推論手法を提案する。
論文 参考訳（メタデータ） (2023-05-18T22:11:04Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Enforcing Continuous Physical Symmetries in Deep Learning Network for
Solving Partial Differential Equations [3.6317085868198467]
我々は,PDEのリー対称性によって誘導される不変表面条件をPINNの損失関数に組み込む,新しい対称性を持つ物理情報ニューラルネットワーク(SPINN)を提案する。
SPINNは、トレーニングポイントが少なく、ニューラルネットワークのよりシンプルなアーキテクチャで、PINNよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-06-19T00:44:22Z) - Auto-PINN: Understanding and Optimizing Physics-Informed Neural
Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。
標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文 参考訳（メタデータ） (2022-05-27T03:24:31Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳（メタデータ） (2022-05-18T06:50:44Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - FSpiNN: An Optimization Framework for Memory- and Energy-Efficient
Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)は、スパイクタイピング依存の可塑性(STDP)ルールのために教師なし学習機能を提供する。
しかし、最先端のSNNは高い精度を達成するために大きなメモリフットプリントを必要とする。
トレーニングおよび推論処理のためのメモリ効率とエネルギー効率のよいSNNを得るための最適化フレームワークFSpiNNを提案する。
論文 参考訳（メタデータ） (2020-07-17T09:40:26Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。