論文の概要: A Self-adaptive Neuroevolution Approach to Constructing Deep Neural
Network Architectures Across Different Types
- arxiv url: http://arxiv.org/abs/2211.14753v2
- Date: Wed, 30 Nov 2022 12:47:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 15:00:51.069735
- Title: A Self-adaptive Neuroevolution Approach to Constructing Deep Neural
Network Architectures Across Different Types
- Title（参考訳）: 異なるタイプのディープニューラルネットワークアーキテクチャ構築のための自己適応型神経進化アプローチ
- Authors: Zhenhao Shuai, Hongbo Liu, Zhaolin Wan, Wei-Jie Yu, Jun Zhang
- Abstract要約: 本稿では,様々なタスクに対して,様々な軽量なDeep Neural Network(DNN)アーキテクチャを自動構築する,自己適応型神経進化(SANE)アプローチを提案する。
SANEの重要な設定の1つは、異なるDNNタイプに適応した細胞と臓器によって定義された検索空間である。
SANEは、進化探索とエクスプロイトを自己適応的に調整し、探索効率を向上させることができる。
- 参考スコア（独自算出の注目度）: 5.429458930060452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuroevolution has greatly promoted Deep Neural Network (DNN) architecture
design and its applications, while there is a lack of methods available across
different DNN types concerning both their scale and performance. In this study,
we propose a self-adaptive neuroevolution (SANE) approach to automatically
construct various lightweight DNN architectures for different tasks. One of the
key settings in SANE is the search space defined by cells and organs
self-adapted to different DNN types. Based on this search space, a constructive
evolution strategy with uniform evolution settings and operations is designed
to grow DNN architectures gradually. SANE is able to self-adaptively adjust
evolution exploration and exploitation to improve search efficiency. Moreover,
a speciation scheme is developed to protect evolution from early convergence by
restricting selection competition within species. To evaluate SANE, we carry
out neuroevolution experiments to generate different DNN architectures
including convolutional neural network, generative adversarial network and long
short-term memory. The results illustrate that the obtained DNN architectures
could have smaller scale with similar performance compared to existing DNN
architectures. Our proposed SANE provides an efficient approach to
self-adaptively search DNN architectures across different types.
- Abstract（参考訳）: Neuroevolutionは、Deep Neural Network(DNN)アーキテクチャ設計とその応用を大いに推進し、スケールとパフォーマンスの両方に関して、さまざまなDNNタイプにまたがるメソッドが不足している。
本研究では,多種多様なタスクのための軽量DNNアーキテクチャを自動構築する自己適応型神経進化(SANE)手法を提案する。
SANEの重要な設定の1つは、異なるDNNタイプに適応した細胞と臓器によって定義された検索空間である。
この探索空間に基づいて、均一な進化設定と操作を備えた構成的進化戦略は、徐々にDNNアーキテクチャを成長させるように設計されている。
SANEは、進化探索とエクスプロイトを自己適応的に調整し、探索効率を向上させる。
また,種間の選抜競争を制限し,早期収束から進化を守るための種分化スキームを開発した。
SANEを評価するために、畳み込みニューラルネットワーク、生成対向ネットワーク、長期記憶を含む異なるDNNアーキテクチャを生成するために神経進化実験を行った。
得られたDNNアーキテクチャは,既存のDNNアーキテクチャと同等の性能でスケールが小さくなる可能性が示唆された。
提案するSANEは,異なるタイプのDNNアーキテクチャを自己適応的に検索する効率的な手法を提供する。
関連論文リスト
- Spatial-Temporal Search for Spiking Neural Networks [32.937536365872745]
スパイキングニューラルネットワーク(SNN)は、次世代人工知能の潜在的な候補と考えられている。
空間次元と時間次元の両方でSNNを最適化するための微分可能なアプローチを提案する。
本手法は,96.43%,78.96%,70.21%の精度でCIFAR10/100とImageNetの分類性能を比較検討した。
論文 参考訳（メタデータ） (2024-10-24T09:32:51Z) - AD-NEv++ : The multi-architecture neuroevolution-based multivariate anomaly detection framework [0.794682109939797]
異常検出ツールと方法は、現代のサイバー物理およびセンサーベースのシステムにおいて重要な分析機能を可能にする。
我々は,サブスペース進化,モデル進化,微調整を相乗的に組み合わせた3段階の神経進化に基づくAD-NEv++を提案する。
我々は、AD-NEv++が全ての異常検出ベンチマークにおいて最先端のGNN(Graph Neural Networks)モデルアーキテクチャを改善し、性能を向上できることを示す。
論文 参考訳（メタデータ） (2024-03-25T08:40:58Z) - Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳（メタデータ） (2024-01-25T19:05:53Z) - Brain-inspired Evolutionary Architectures for Spiking Neural Networks [6.607406750195899]
スパイキングニューラルネットワーク(SNN)の効率的なアーキテクチャ最適化について検討する。
本稿では,脳にインスパイアされた局所モジュール構造とグローバルモジュール接続を取り入れたSNNアーキテクチャを進化させる。
本稿では,高性能,効率,消費電力の少ないSNNを用いた,数ショット性能予測器に基づく効率的な多目的進化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-11T06:39:11Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Multi-scale Evolutionary Neural Architecture Search for Deep Spiking
Neural Networks [7.271032282434803]
スパイキングニューラルネットワーク(SNN)のためのマルチスケール進化型ニューラルネットワーク探索(MSE-NAS)を提案する。
MSE-NASは脳にインスパイアされた間接的評価機能であるRepresentational Dissimilarity Matrices(RDMs)を介して、個々のニューロンの操作、複数の回路モチーフの自己組織化の統合、およびグローバルなモチーフ間の接続を進化させる
提案アルゴリズムは,静的データセットとニューロモルフィックデータセットのシミュレーションステップを短縮して,最先端(SOTA)性能を実現する。
論文 参考訳（メタデータ） (2023-04-21T05:36:37Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
論文 参考訳（メタデータ） (2020-09-21T22:11:53Z) - Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。
DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。
300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文 参考訳（メタデータ） (2020-07-17T08:32:11Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。