論文の概要: Training neural networks without backpropagation using particles

• arxiv url: http://arxiv.org/abs/2412.05667v1
• Date: Sat, 07 Dec 2024 14:30:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:55.411627
• Title: Training neural networks without backpropagation using particles
• Title（参考訳）: 粒子を用いたバックプロパゲーションのないニューラルネットワークの訓練
• Authors: Deepak Kumar,
• Abstract要約: ニューラルネットワークは、人間の脳内の生物学的ニューロンを模倣するために、複数の層にまとめられたニューロンのグループである。 勾配降下戦略は局所ミニマの問題を避けることができず、ミニマで立ち往生する。 粒子群最適化 (PSO) は損失関数の探索空間の中で最適な局所最小値を選択するために提案された。 提案手法では、個々のニューロンを個別に訓練することで、勾配降下とPSOアルゴリズムの限界を克服する。
• 参考スコア（独自算出の注目度）: 2.0750726261075014
• License:
• Abstract: Neural networks are a group of neurons stacked together in multiple layers to mimic the biological neurons in a human brain. Neural networks have been trained using the backpropagation algorithm based on gradient descent strategy for several decades. Several variants have been developed to improve the backpropagation algorithm. The loss function for the neural network is optimized through backpropagation, but several local minima exist in the manifold of the constructed neural network. We obtain several solutions matching the minima. The gradient descent strategy cannot avoid the problem of local minima and gets stuck in the minima due to the initialization. Particle swarm optimization (PSO) was proposed to select the best local minima among the search space of the loss function. The search space is limited to the instantiated particles in the PSO algorithm, and sometimes it cannot select the best solution. In the proposed approach, we overcome the problem of gradient descent and the limitation of the PSO algorithm by training individual neurons separately, capable of collectively solving the problem as a group of neurons forming a network.
• Abstract（参考訳）: ニューラルネットワークは、人間の脳内の生物学的ニューロンを模倣するために、複数の層にまとめられたニューロンのグループである。 ニューラルネットワークは、数十年間、勾配降下戦略に基づくバックプロパゲーションアルゴリズムを用いて訓練されてきた。 バックプロパゲーションアルゴリズムを改善するために、いくつかの変種が開発されている。 ニューラルネットワークの損失関数はバックプロパゲーションによって最適化されるが、構築されたニューラルネットワークの多様体にはいくつかの局所ミニマが存在する。 ミニマと一致するいくつかの解を得る。 勾配降下戦略は局所最小化の問題を避けることができず、初期化により最小化される。 粒子群最適化 (PSO) は損失関数の探索空間の中で最適な局所最小値を選択するために提案された。 探索空間はPSOアルゴリズムのインスタンス化された粒子に限られており、時には最良の解を選択できない。 提案手法では,個々のニューロンを個別に学習することで,勾配降下とPSOアルゴリズムの制限という問題を克服し,ネットワークを形成するニューロン群として問題を総合的に解決する。

関連論文リスト

• Minimum number of neurons in fully connected layers of a given neural network (the first approximation) [0.0]
  本稿では,任意のネットワークが与えられた問題を解く際の,完全連結層内のニューロンの最小数を探索するアルゴリズムを提案する。 提案アルゴリズムは,検出されたニューロン数のニューラルネットワークが要求される品質に適応可能であることを保証していないため,層内のニューロンの最小数を推定するための最初の近似である。
  論文  参考訳（メタデータ） (2024-05-23T03:46:07Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
  本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。 我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
  論文  参考訳（メタデータ） (2021-09-18T05:56:06Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Persistent Neurons [4.061135251278187]
  本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。 永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。 完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-07-02T22:36:49Z)
• Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
  アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。 本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
  論文  参考訳（メタデータ） (2020-06-22T17:40:03Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。