論文の概要: On the Exploitation of Neuroevolutionary Information: Analyzing the Past
for a More Efficient Future
- arxiv url: http://arxiv.org/abs/2105.12836v1
- Date: Wed, 26 May 2021 20:55:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 09:17:39.862408
- Title: On the Exploitation of Neuroevolutionary Information: Analyzing the Past
for a More Efficient Future
- Title（参考訳）: 神経進化情報の活用について--より効率的な未来に向けての過去の分析
- Authors: Unai Garciarena, Nuno Louren\c{c}o, Penousal Machado, Roberto Santana,
Alexander Mendiburu
- Abstract要約: 本稿では,神経進化過程から情報を抽出し,メタモデルを構築するアプローチを提案する。
本稿では, 異なる特徴を有する生成的対向ネットワークの神経進化的探索における最良の構造について検討する。
- 参考スコア（独自算出の注目度）: 60.99717891994599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neuroevolutionary algorithms, automatic searches of neural network structures
by means of evolutionary techniques, are computationally costly procedures. In
spite of this, due to the great performance provided by the architectures which
are found, these methods are widely applied. The final outcome of
neuroevolutionary processes is the best structure found during the search, and
the rest of the procedure is commonly omitted in the literature. However, a
good amount of residual information consisting of valuable knowledge that can
be extracted is also produced during these searches. In this paper, we propose
an approach that extracts this information from neuroevolutionary runs, and use
it to build a metamodel that could positively impact future neural architecture
searches. More specifically, by inspecting the best structures found during
neuroevolutionary searches of generative adversarial networks with varying
characteristics (e.g., based on dense or convolutional layers), we propose a
Bayesian network-based model which can be used to either find strong neural
structures right away, conveniently initialize different structural searches
for different problems, or help future optimization of structures of any type
to keep finding increasingly better structures where uninformed methods get
stuck into local optima.
- Abstract（参考訳）: 進化的手法によるニューラルネットワーク構造の自動探索である神経進化アルゴリズムは、計算コストのかかる手順である。
それにもかかわらず、アーキテクチャによって提供される優れた性能のため、これらの手法は広く適用されている。
神経進化過程の最終結果は探索中に見つかった最良の構造であり、残りの手順は文献で一般的に省略されている。
しかし,これらの探索では,抽出可能な貴重な知識からなる残余情報も大量に生成される。
本稿では、神経進化的実行からこの情報を抽出し、将来のニューラルアーキテクチャ探索に肯定的な影響を与えるメタモデルを構築するためのアプローチを提案する。
More specifically, by inspecting the best structures found during neuroevolutionary searches of generative adversarial networks with varying characteristics (e.g., based on dense or convolutional layers), we propose a Bayesian network-based model which can be used to either find strong neural structures right away, conveniently initialize different structural searches for different problems, or help future optimization of structures of any type to keep finding increasingly better structures where uninformed methods get stuck into local optima.
関連論文リスト
- Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。
ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。
構造は違いをもたらすのか、それとも任意に選択できるのか?
論文 参考訳（メタデータ） (2024-10-12T16:13:28Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - An automatic selection of optimal recurrent neural network architecture
for processes dynamics modelling purposes [0.0]
この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。
アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。
この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
論文 参考訳（メタデータ） (2023-09-25T11:06:35Z) - Multiobjective Evolutionary Pruning of Deep Neural Networks with
Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。
我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。
実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文 参考訳（メタデータ） (2023-02-20T19:33:38Z) - HiveNAS: Neural Architecture Search using Artificial Bee Colony
Optimization [0.0]
本研究では,ニューラルネットワーク探索のための人工蜂コロニー最適化の実現可能性を評価する。
提案するフレームワークであるHiveNASは、最先端のSwarm IntelligenceベースのNASフレームワークを短時間で上回ります。
論文 参考訳（メタデータ） (2022-11-18T14:11:47Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文 参考訳（メタデータ） (2021-06-16T17:12:26Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - Sampled Training and Node Inheritance for Fast Evolutionary Neural
Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。
本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。
提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文 参考訳（メタデータ） (2020-03-07T12:33:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。