論文の概要: First Steps Towards a Runtime Analysis of Neuroevolution

• arxiv url: http://arxiv.org/abs/2307.00799v2
• Date: Mon, 16 Oct 2023 14:40:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 04:28:22.828526
• Title: First Steps Towards a Runtime Analysis of Neuroevolution
• Title（参考訳）: 神経進化のランタイム分析への第一歩
• Authors: Paul Fischer and Emil Lundt Larsen and Carsten Witt
• Abstract要約: 進化的アルゴリズムは、単純な人工ニューラルネットワークの重みとアクティベーション機能を最適化する。 次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンを持つネットワークと、複数のニューロンと2つのレイヤを持つより高度な構造に対して厳密な実行時解析を行う。 その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a simple setting in neuroevolution where an evolutionary algorithm optimizes the weights and activation functions of a simple artificial neural network. We then define simple example functions to be learned by the network and conduct rigorous runtime analyses for networks with a single neuron and for a more advanced structure with several neurons and two layers. Our results show that the proposed algorithm is generally efficient on two example problems designed for one neuron and efficient with at least constant probability on the example problem for a two-layer network. In particular, the so-called harmonic mutation operator choosing steps of size $j$ with probability proportional to $1/j$ turns out as a good choice for the underlying search space. However, for the case of one neuron, we also identify situations with hard-to-overcome local optima. Experimental investigations of our neuroevolutionary algorithm and a state-of-the-art CMA-ES support the theoretical findings.
• Abstract（参考訳）: 進化的アルゴリズムが単純なニューラルネットワークの重みと活性化関数を最適化する、神経進化における単純な設定を考える。 次に、ネットワークによって学習される単純な例関数を定義し、単一のニューロンと複数のニューロンと2つの層を持つより高度な構造を持つネットワークの厳密な実行時解析を行う。 その結果,提案アルゴリズムは1つのニューロンに対して設計された2つのサンプル問題に対して効率が良く,二層ネットワークのサンプル問題に対して少なくとも一定の確率で効率がよいことがわかった。 特に、確率が1/j$に比例するサイズを$j$とするいわゆる調和突然変異作用素は、下層の探索空間にとって良い選択であることが判明した。 しかし,1つのニューロンの場合,局所視能が困難である場合も同定する。 我々の神経進化アルゴリズムと最先端CMA-ESの実験的研究は理論的な発見を支持している。

関連論文リスト

• Parallel-in-Time Solutions with Random Projection Neural Networks [0.07282584715927627]
  本稿では、常微分方程式の解法であるパラレアルの基本的な並列時間法の一つを考察し、ニューラルネットワークを粗いプロパゲータとして採用することにより拡張する。 提案アルゴリズムの収束特性を理論的に解析し,ローレンツ方程式やバーガースの方程式を含むいくつかの例に対して有効性を示す。
  論文  参考訳（メタデータ） (2024-08-19T07:32:41Z)
• Stochastic Gradient Descent for Two-layer Neural Networks [2.0349026069285423]
  本稿では、過パラメータ化された2層ニューラルネットワークに適用した場合の降下(SGD)アルゴリズムの収束率について検討する。 提案手法は,NTKのタンジェントカーネル(NTK)近似と,NTKが生成する再生カーネル空間(RKHS)の収束解析を組み合わせたものである。 我々の研究フレームワークは、カーネルメソッドと最適化プロセスの間の複雑な相互作用を探索し、ニューラルネットワークのダイナミクスと収束特性に光を当てることを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T13:58:57Z)
• Optimized classification with neural ODEs via separability [0.0]
  ニューラル常微分方程式(ニューラルODE)のレンズを通して見た場合、N$点の分類は同時制御問題となる 本研究では,効率的なクラスタ分類に必要なニューロン数を推定することに焦点を当てた。 我々は任意の初期設定から$d$ポイントのクラスタを同時に分類する新しい構成的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-21T12:56:40Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。