論文の概要: Multi-Objective Evolutionary Neural Architecture Search for Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2403.11173v1
• Date: Sun, 17 Mar 2024 11:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 18:15:50.852474
• Title: Multi-Objective Evolutionary Neural Architecture Search for Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークのための多目的進化型ニューラルネットワーク探索
• Authors: Reinhard Booysen, Anna Sergeevna Bosman,
• Abstract要約: 本稿では,多目的進化アルゴリズムに基づくRNNアーキテクチャ探索手法を提案する。 提案手法は,進化過程におけるRNNアーキテクチャの複雑性最適化のための近似ネットワーク型に依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Artificial neural network (NN) architecture design is a nontrivial and time-consuming task that often requires a high level of human expertise. Neural architecture search (NAS) serves to automate the design of NN architectures and has proven to be successful in automatically finding NN architectures that outperform those manually designed by human experts. NN architecture performance can be quantified based on multiple objectives, which include model accuracy and some NN architecture complexity objectives, among others. The majority of modern NAS methods that consider multiple objectives for NN architecture performance evaluation are concerned with automated feed forward NN architecture design, which leaves multi-objective automated recurrent neural network (RNN) architecture design unexplored. RNNs are important for modeling sequential datasets, and prominent within the natural language processing domain. It is often the case in real world implementations of machine learning and NNs that a reasonable trade-off is accepted for marginally reduced model accuracy in favour of lower computational resources demanded by the model. This paper proposes a multi-objective evolutionary algorithm-based RNN architecture search method. The proposed method relies on approximate network morphisms for RNN architecture complexity optimisation during evolution. The results show that the proposed method is capable of finding novel RNN architectures with comparable performance to state-of-the-art manually designed RNN architectures, but with reduced computational demand.
• Abstract（参考訳）: ニューラルネットワーク(NN)アーキテクチャ設計は非自明で時間を要する作業であり、高いレベルの人間の専門知識を必要とすることが多い。 ニューラルアーキテクチャサーチ(NAS)は、NNアーキテクチャの設計の自動化に役立ち、人手による設計よりも優れたNNアーキテクチャの自動発見に成功している。 NNアーキテクチャのパフォーマンスは、モデル精度やNNアーキテクチャの複雑さの目的などを含む複数の目的に基づいて定量化することができる。 NNアーキテクチャ性能評価のための複数の目的を考慮した現代のNAS手法の大半は、マルチオブジェクト自動リカレントニューラルネットワーク(RNN)アーキテクチャ設計を未検討のまま残した、自動フィードフォワードNNアーキテクチャ設計に関するものである。 RNNはシーケンシャルデータセットのモデリングに重要であり、自然言語処理領域内で顕著である。 機械学習やNNの現実的な実装では、モデルによって要求される低い計算リソースを優先して、モデル精度を極端に削減するための合理的なトレードオフが受け入れられることがしばしばある。 本稿では,多目的進化アルゴリズムに基づくRNNアーキテクチャ探索手法を提案する。 提案手法は,進化過程におけるRNNアーキテクチャの複雑性最適化のための近似ネットワーク型に依存する。 提案手法は,手作業で設計したRNNアーキテクチャに匹敵する性能を持つ新規なRNNアーキテクチャを,計算負荷を低減できることを示す。

関連論文リスト

• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• A Self-adaptive Neuroevolution Approach to Constructing Deep Neural Network Architectures Across Different Types [5.429458930060452]
  本稿では,様々なタスクに対して,様々な軽量なDeep Neural Network(DNN)アーキテクチャを自動構築する,自己適応型神経進化(SANE)アプローチを提案する。 SANEの重要な設定の1つは、異なるDNNタイプに適応した細胞と臓器によって定義された検索空間である。 SANEは、進化探索とエクスプロイトを自己適応的に調整し、探索効率を向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T07:40:25Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Neural Architecture Search for Spiking Neural Networks [10.303676184878896]
  スパイキングニューラルネットワーク(SNN)は、従来のニューラルネットワーク(ANN)に代わるエネルギー効率の高い代替手段として大きな注目を集めている。 従来のSNN手法のほとんどはANNのようなアーキテクチャを使用しており、これはSNNにおけるバイナリ情報の時間的シーケンス処理に準最適性能を提供する。 より優れたSNNアーキテクチャを見つけるための新しいニューラルネットワーク探索(NAS)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-23T16:34:27Z)
• Composing Recurrent Spiking Neural Networks using Locally-Recurrent Motifs and Risk-Mitigating Architectural Optimization [9.104190653846048]
  神経回路では、リカレント接続はネットワーク機能と安定性において重要な役割を果たす。 既存の繰り返しスパイクニューラルネットワーク(RSNN)は、しばしば最適化なしでランダムな接続によって構築される。 我々は、新しいスケーラブルRSNNアーキテクチャと自動アーキテクチャ最適化により、大規模RSNNの体系的設計を可能にすることを目指している。
  論文  参考訳（メタデータ） (2021-08-04T00:09:39Z)
• A novel Deep Neural Network architecture for non-linear system identification [78.69776924618505]
  非線形システム識別のための新しいDeep Neural Network (DNN)アーキテクチャを提案する。 メモリシステムにインスパイアされたインダクティブバイアス(アーキテクチャ)と正規化(損失関数)を導入する。 このアーキテクチャは、利用可能なデータのみに基づいて、自動的な複雑性の選択を可能にする。
  論文  参考訳（メタデータ） (2021-06-06T10:06:07Z)
• Self-Learning for Received Signal Strength Map Reconstruction with Neural Architecture Search [63.39818029362661]
  ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。 このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。 実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-17T12:19:22Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
  TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
  論文  参考訳（メタデータ） (2020-07-17T08:32:11Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。