論文の概要: A free from local minima algorithm for training regressive MLP neural networks

• arxiv url: http://arxiv.org/abs/2308.11532v1
• Date: Tue, 22 Aug 2023 15:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 13:03:39.258840
• Title: A free from local minima algorithm for training regressive MLP neural networks
• Title（参考訳）: 回帰型MLPニューラルネットワークの学習のための局所最小解法
• Authors: Augusto Montisci
• Abstract要約: 局部ミニマを対象とせず, 回帰ネットワークを訓練する革新的な手法が提案されている。 本稿では,トレーニングセットの分布特性に基づいて,局所最小化の問題を回避するアルゴリズムを提案する。 アルゴリズムの性能はよく知られたベンチマークで示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this article an innovative method for training regressive MLP networks is presented, which is not subject to local minima. The Error-Back-Propagation algorithm, proposed by William-Hinton-Rummelhart, has had the merit of favouring the development of machine learning techniques, which has permeated every branch of research and technology since the mid-1980s. This extraordinary success is largely due to the black-box approach, but this same factor was also seen as a limitation, as soon more challenging problems were approached. One of the most critical aspects of the training algorithms was that of local minima of the loss function, typically the mean squared error of the output on the training set. In fact, as the most popular training algorithms are driven by the derivatives of the loss function, there is no possibility to evaluate if a reached minimum is local or global. The algorithm presented in this paper avoids the problem of local minima, as the training is based on the properties of the distribution of the training set, or better on its image internal to the neural network. The performance of the algorithm is shown for a well-known benchmark.
• Abstract（参考訳）: 本稿では,局所最小限ではない回帰型MLPネットワークを学習するための革新的な手法を提案する。 William-Hinton-Rummelhart が提案したError-Back-Propagationアルゴリズムは、1980年代半ばからすべての研究と技術の分野に浸透した機械学習技術の開発を好んだ。 この異常な成功は主にブラックボックスのアプローチによるものであるが、この同じ要因も制限と見なされ、すぐにより困難な問題にアプローチされた。 トレーニングアルゴリズムの最も重要な側面の1つは、損失関数の局所最小値(典型的にはトレーニングセットの出力の平均2乗誤差)である。 実際、最も一般的なトレーニングアルゴリズムは損失関数の導関数によって駆動されるため、到達した最小限が局所的かグローバル的かを評価することはできない。 本論文で提示するアルゴリズムは,トレーニングセットの分布特性に基づくか,あるいはニューラルネットワークの内部イメージに基づくため,局所的ミニマの問題を回避している。 アルゴリズムの性能はよく知られたベンチマークで示される。

関連論文リスト

• Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
  我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。 画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
  論文  参考訳（メタデータ） (2024-12-19T18:58:14Z)
• Simplicity bias and optimization threshold in two-layer ReLU networks [24.43739371803548]
  過度なパラメータ化にもかかわらず、ネットワークはトレーニングデータを補間するのではなく、より単純な解へと収束することを示す。 我々の分析は、ニューロンが特定の方向に向かっているいわゆる早期アライメントフェーズに依存しています。
  論文  参考訳（メタデータ） (2024-10-03T09:58:57Z)
• Adaptive Training Distributions with Scalable Online Bilevel Optimization [26.029033134519604]
  Webスケールコーパスで事前訓練された大規模なニューラルネットワークは、現代の機械学習の中心である。 本研究は,対象とする試験条件を反映したデータのサンプルが少なければ,事前学習分布を変更することを検討する。 本稿では、この設定をオンライン二段階最適化問題として最近定式化したアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T18:01:29Z)
• The Integrated Forward-Forward Algorithm: Integrating Forward-Forward and Shallow Backpropagation With Local Losses [0.0]
  本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。 Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
  論文  参考訳（メタデータ） (2023-05-22T12:10:47Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。