論文の概要: Training neural networks without backpropagation using particles
- arxiv url: http://arxiv.org/abs/2412.05667v2
- Date: Wed, 18 Dec 2024 12:57:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:47:16.578047
- Title: Training neural networks without backpropagation using particles
- Title（参考訳）: 粒子を用いたバックプロパゲーションのないニューラルネットワークの訓練
- Authors: Deepak Kumar,
- Abstract要約: ニューラルネットワークは、人間の脳内の生物学的ニューロンを模倣するために、複数の層にまとめられたニューロンのグループである。
勾配降下戦略は、ニューラルネットワークのバックプロパゲーションアルゴリズムを改善するために使用されている。
粒子群最適化 (PSO) は損失関数の探索空間の中で最適な局所最小値を選択するために提案された。
提案手法では、個々のニューロンを個別に訓練することで、勾配降下とPSOアルゴリズムの限界を克服する。
- 参考スコア（独自算出の注目度）: 2.0750726261075014
- License:
- Abstract: Neural networks are a group of neurons stacked together in multiple layers to mimic the biological neurons in a human brain. Neural networks have been trained using the backpropagation algorithm based on gradient descent strategy for several decades. Several variants have been developed to improve the backpropagation algorithm. The loss function for the neural network is optimized through backpropagation, but several local minima exist in the manifold of the constructed neural network. We obtain several solutions matching the minima. The gradient descent strategy cannot avoid the problem of local minima and gets stuck in the minima due to the initialization. Particle swarm optimization (PSO) was proposed to select the best local minima among the search space of the loss function. The search space is limited to the instantiated particles in the PSO algorithm, and sometimes it cannot select the best solution. In the proposed approach, we overcome the problem of gradient descent and the limitation of the PSO algorithm by training individual neurons separately, capable of collectively solving the problem as a group of neurons forming a network. Our code and data are available at https://github.com/dipkmr/train-nn-wobp/
- Abstract（参考訳）: ニューラルネットワークは、人間の脳内の生物学的ニューロンを模倣するために、複数の層にまとめられたニューロンのグループである。
ニューラルネットワークは、数十年間、勾配降下戦略に基づくバックプロパゲーションアルゴリズムを用いて訓練されてきた。
バックプロパゲーションアルゴリズムを改善するために、いくつかの変種が開発されている。
ニューラルネットワークの損失関数はバックプロパゲーションによって最適化されるが、構築されたニューラルネットワークの多様体にはいくつかの局所ミニマが存在する。
ミニマと一致するいくつかの解を得る。
勾配降下戦略は局所最小化の問題を避けることができず、初期化により最小化される。
粒子群最適化 (PSO) は損失関数の探索空間の中で最適な局所最小値を選択するために提案された。
探索空間はPSOアルゴリズムのインスタンス化された粒子に限られており、時には最良の解を選択できない。
提案手法では,個々のニューロンを個別に学習することで,勾配降下とPSOアルゴリズムの制限という問題を克服し,ネットワークを形成するニューロン群として問題を総合的に解決する。
私たちのコードとデータはhttps://github.com/dipkmr/train-nn-wobp/で公開されています。
関連論文リスト
- RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。
我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
論文 参考訳（メタデータ） (2024-10-03T09:56:39Z) - Minimum number of neurons in fully connected layers of a given neural network (the first approximation) [0.0]
本稿では,任意のネットワークが与えられた問題を解く際の,完全連結層内のニューロンの最小数を探索するアルゴリズムを提案する。
提案アルゴリズムは,検出されたニューロン数のニューラルネットワークが要求される品質に適応可能であることを保証していないため,層内のニューロンの最小数を推定するための最初の近似である。
論文 参考訳（メタデータ） (2024-05-23T03:46:07Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。
我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文 参考訳（メタデータ） (2022-10-14T19:31:39Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。
提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。
標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2021-10-16T11:57:38Z) - Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。
我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
論文 参考訳（メタデータ） (2021-09-18T05:56:06Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。
本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
論文 参考訳（メタデータ） (2020-06-22T17:40:03Z) - Improving the Backpropagation Algorithm with Consequentialism Weight
Updates over Mini-Batches [0.40611352512781856]
適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。
我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。
我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
論文 参考訳（メタデータ） (2020-03-11T08:45:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。