Fugu-MT 論文翻訳(概要): Correspondence between neuroevolution and gradient descent

論文の概要: Correspondence between neuroevolution and gradient descent

arxiv url: http://arxiv.org/abs/2008.06643v3
Date: Fri, 10 Sep 2021 21:31:30 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 21:03:02.629587
Title: Correspondence between neuroevolution and gradient descent
Title（参考訳）: 神経進化と勾配降下の対応
Authors: Stephen Whitelam, Viktor Selin, Sang-Won Park, Isaac Tamblyn
Abstract要約: ニューラルネットワークを条件付き突然変異またはその重みの神経進化によって訓練することは、損失関数の勾配降下に対する小さな突然変異の限界において等価であることを示す。学習過程の独立性よりも平均的に、神経進化は損失関数の勾配降下と等価である。
参考スコア（独自算出の注目度）: 0.22940141855172028
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show analytically that training a neural network by conditioned stochastic mutation or neuroevolution of its weights is equivalent, in the limit of small mutations, to gradient descent on the loss function in the presence of Gaussian white noise. Averaged over independent realizations of the learning process, neuroevolution is equivalent to gradient descent on the loss function. We use numerical simulation to show that this correspondence can be observed for finite mutations,for shallow and deep neural networks. Our results provide a connection between two families of neural-network training methods that are usually considered to be fundamentally different.
Abstract（参考訳）: ニューラルネットワークを条件付き確率的突然変異またはその重みの神経進化で訓練することは、小さな突然変異の限界において、ガウスホワイトノイズの存在下での損失関数の勾配降下と等価であることを示す。学習過程の独立性よりも平均的に、神経進化は損失関数の勾配降下と等価である。我々は,浅部および深部ニューラルネットワークの有限突然変異に対して,この対応が観測可能であることを示すため,数値シミュレーションを用いた。本研究は,神経ネットワークトレーニング手法の2つのファミリー間の関係を,通常,根本的に異なるものと見なす。

関連論文リスト

Correlations Are Ruining Your Gradient Descent [1.2432046687586285]
自然勾配降下は、最も急勾配の方向を示す勾配ベクトルが、損失景観の局所曲率を考慮することにより、どのように改善されるかを照らしている。ニューラルネットワークの各層におけるノード応答を含む,任意の線形変換におけるデータの相関が,モデルパラメータ間の非正規的関係を生じさせることを示す。本稿では,ノード出力のデコレーションと白化のために提案された手法について述べるとともに,これを拡張し,分散コンピューティングや計算神経科学に特に有用な新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-15T14:59:43Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks [0.0]
分類では、ニューラルネットワークはクロスエントロピーを最小化して学習するが、精度を用いて評価され、比較される。この格差は、ニューラルネットワークのクロスエントロピーのドロップイン置換損失関数探索であるニューラルロス関数探索(NLFS)を示唆している。より多様な損失関数を探索するNLFSの新しい探索空間を提案する。
論文参考訳（メタデータ） (2024-01-30T17:21:28Z)
On the hardness of learning under symmetries [31.961154082757798]
勾配勾配勾配を用いた同変ニューラルネットワークの学習問題について検討する。対称性による帰納バイアスにもかかわらず、実際には勾配降下を通じて同変ニューラルネットワークで表される関数の完全なクラスを学習することは難しいままである。
論文参考訳（メタデータ） (2024-01-03T18:24:18Z)
Learning fixed points of recurrent neural networks by reparameterizing the network model [0.0]
計算神経科学において、リカレントニューラルネットワークの固定点は、静的またはゆっくりと変化する刺激に対する神経反応をモデル化するために一般的に用いられる。自然なアプローチは、シナプス重みのユークリッド空間上の勾配勾配を利用することである。この手法は, 損失面に生じる特異点により, 学習性能が低下する可能性があることを示す。
論文参考訳（メタデータ） (2023-07-13T13:09:11Z)
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文参考訳（メタデータ） (2023-06-10T16:36:22Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
論文参考訳（メタデータ） (2022-02-14T07:45:51Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。