論文の概要: SGD method for entropy error function with smoothing l0 regularization for neural networks
- arxiv url: http://arxiv.org/abs/2405.18552v1
- Date: Tue, 28 May 2024 19:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 21:53:22.903079
- Title: SGD method for entropy error function with smoothing l0 regularization for neural networks
- Title（参考訳）: ニューラルネットワークのスムーズなl0正規化によるエントロピー誤差関数のSGD法
- Authors: Trong-Tuan Nguyen, Van-Dat Thang, Nguyen Van Thin, Phuong T. Nguyen,
- Abstract要約: エントロピー誤差関数はニューラルネットワークで広く使われている。
本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。
ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
- 参考スコア（独自算出の注目度）: 3.108634881604788
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The entropy error function has been widely used in neural networks. Nevertheless, the network training based on this error function generally leads to a slow convergence rate, and can easily be trapped in a local minimum or even with the incorrect saturation problem in practice. In fact, there are many results based on entropy error function in neural network and its applications. However, the theory of such an algorithm and its convergence have not been fully studied so far. To tackle the issue, we propose a novel entropy function with smoothing l0 regularization for feed-forward neural networks. Using real-world datasets, we performed an empirical evaluation to demonstrate that the newly conceived algorithm allows us to substantially improve the prediction performance of the considered neural networks. More importantly, the experimental results also show that our proposed function brings in more precise classifications, compared to well-founded baselines. Our work is novel as it enables neural networks to learn effectively, producing more accurate predictions compared to state-of-the-art algorithms. In this respect, we expect that the algorithm will contribute to existing studies in the field, advancing research in Machine Learning and Deep Learning.
- Abstract（参考訳）: エントロピー誤差関数はニューラルネットワークで広く使われている。
それでも、この誤差関数に基づくネットワークトレーニングは、一般的に、収束速度が遅くなり、局所的な最小値や、実際には不正な飽和問題にも容易に閉じ込められる。
実際、ニューラルネットワークとその応用におけるエントロピー誤差関数に基づく多くの結果が存在する。
しかし、そのようなアルゴリズムの理論とその収束は、今のところ完全には研究されていない。
そこで本研究では,フィードフォワードニューラルネットワークにおけるl0正規化を円滑に行うエントロピー関数を提案する。
実世界のデータセットを用いて、新たに考案されたアルゴリズムが、検討されたニューラルネットワークの予測性能を大幅に改善できることを示す実験的な評価を行った。
さらに, 実験結果から, 提案した関数は, 十分に確立されたベースラインに比べて, より正確な分類をもたらすことが明らかとなった。
ニューラルネットワークを効果的に学習し、最先端のアルゴリズムと比較してより正確な予測を生成するため、我々の研究は新しくなっています。
この点に関して、このアルゴリズムはこの分野の既存の研究に貢献し、機械学習とディープラーニングの研究を進めていくことを期待する。
関連論文リスト
- A new approach to generalisation error of machine learning algorithms:
Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。
本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文 参考訳（メタデータ） (2023-06-23T20:57:31Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。
この結果から,エントロピック力は一般化に有効であることが示唆された。
論文 参考訳（メタデータ） (2022-07-05T12:28:13Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳（メタデータ） (2022-06-10T10:17:59Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Concise Logarithmic Loss Function for Robust Training of Anomaly
Detection Model [0.0]
ニューラルネットワークをより安定させるためには、適切なニューラルネットワーク構造や損失関数を定義する必要がある。
トレーニング異常検出モデルでは,平均二乗誤差(MSE)関数が広く採用されている。
本稿では,新たな損失関数である対数平均二乗誤差(LMSE)を提案し,ニューラルネットワークをより安定に訓練する。
論文 参考訳（メタデータ） (2022-01-15T03:22:15Z) - A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文 参考訳（メタデータ） (2022-01-14T06:42:42Z) - Multigoal-oriented dual-weighted-residual error estimation using deep
neural networks [0.0]
ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。
提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。
複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-12-21T16:59:44Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。