論文の概要: Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting

• arxiv url: http://arxiv.org/abs/2308.01421v2
• Date: Tue, 20 Feb 2024 09:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 21:03:45.651857
• Title: Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting
• Title（参考訳）: 一般化と過剰適合に対処するホップフィールドのようなセットアップ
• Authors: Elena Agliari, Francesco Alemanno, Miriam Aquaro, Alberto Fachechi
• Abstract要約: 正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we approach attractor neural networks from a machine learning perspective: we look for optimal network parameters by applying a gradient descent over a regularized loss function. Within this framework, the optimal neuron-interaction matrices turn out to be a class of matrices which correspond to Hebbian kernels revised by a reiterated unlearning protocol. Remarkably, the extent of such unlearning is proved to be related to the regularization hyperparameter of the loss function and to the training time. Thus, we can design strategies to avoid overfitting that are formulated in terms of regularization and early-stopping tuning. The generalization capabilities of these attractor networks are also investigated: analytical results are obtained for random synthetic datasets, next, the emerging picture is corroborated by numerical experiments that highlight the existence of several regimes (i.e., overfitting, failure and success) as the dataset parameters are varied.
• Abstract（参考訳）: 本研究では,機械学習の観点からアトラクタニューラルネットワークにアプローチする: 正規化損失関数に勾配降下を適用することにより,最適なネットワークパラメータを求める。 この枠組みの中で、最適なニューロン相互作用行列は繰り返し学習プロトコルによって修正されたヘビー核に対応する行列のクラスであることが判明した。 注目すべきは、そのような未学習の程度が、損失関数の正規化ハイパーパラメーターとトレーニング時間に関係していることである。 したがって、規則化と早期停止チューニングの観点で定式化された過剰フィッティングを避けるために戦略を設計することができる。 これらのアトラクタネットワークの一般化能力についても検討し, ランダムな合成データセットの解析結果が得られ, 次に, 出現した画像は, パラメータが変化するにつれて, いくつかの状態(過度な適合, 失敗, 成功など)の存在を強調する数値実験によって相関する。

関連論文リスト

• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Regression as Classification: Influence of Task Formulation on Neural Network Features [16.239708754973865]
  ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
  論文  参考訳（メタデータ） (2022-11-10T15:13:23Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Analysis of Catastrophic Forgetting for Random Orthogonal Transformation Tasks in the Overparameterized Regime [9.184987303791292]
  可変MNIST画像分類タスクでは,バニラ勾配降下により訓練された多層パーセプトロンの性能を向上させることができることを示す。 定性的に類似した2タスク線形回帰問題を研究することによって、この効果を理論的に説明する。 モデルが追加の正規化なしで連続的に2つのタスクで訓練された場合、最初のタスクのリスクゲインは小さくなることを示す。
  論文  参考訳（メタデータ） (2022-06-01T18:04:33Z)
• Automatic differentiation approach for reconstructing spectral functions with neural networks [30.015034534260664]
  本稿では,観測可能なデータから再構成するための汎用ツールとして,自動微分フレームワークを提案する。 我々は、ニューラルネットワークでスペクトルを表現し、カイ二乗を損失関数として設定し、後方自動微分を教師なしでパラメータを最適化する。 復元精度は、複数の雑音レベルにおけるKulback-Leibler(KL)分散と平均二乗誤差(MSE)によって評価される。
  論文  参考訳（メタデータ） (2021-12-12T11:21:57Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)
• Generalisation error in learning with random features and the hidden manifold model [23.71637173968353]
  合成データセットの一般線形回帰と分類について検討した。 我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。 閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。 隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
  論文  参考訳（メタデータ） (2020-02-21T14:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。