論文の概要: On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization
- arxiv url: http://arxiv.org/abs/2408.09210v2
- Date: Wed, 11 Sep 2024 16:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 20:12:08.961683
- Title: On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization
- Title（参考訳）: ニューラルポーラライゼーションによるフォワードオンリー学習の一般化と安定性向上について
- Authors: Erik B. Terres-Escudero, Javier Del Ser, Pablo Garcia-Bringas,
- Abstract要約: Forward-Forward Algorithm (FFA) は、一般化と複雑性の観点から、競争性能のレベルを達成することが示されている。
本稿では、ニューラル除算を導入して元の定式化を拡張するPola-FFAと呼ばれる新しいFFAアルゴリズムの実装を提案する。
以上の結果から,Polar-FFAはFFAよりも精度と収束速度が優れていることが示された。
- 参考スコア（独自算出の注目度）: 7.345136916791223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forward-only learning algorithms have recently gained attention as alternatives to gradient backpropagation, replacing the backward step of this latter solver with an additional contrastive forward pass. Among these approaches, the so-called Forward-Forward Algorithm (FFA) has been shown to achieve competitive levels of performance in terms of generalization and complexity. Networks trained using FFA learn to contrastively maximize a layer-wise defined goodness score when presented with real data (denoted as positive samples) and to minimize it when processing synthetic data (corr. negative samples). However, this algorithm still faces weaknesses that negatively affect the model accuracy and training stability, primarily due to a gradient imbalance between positive and negative samples. To overcome this issue, in this work we propose a novel implementation of the FFA algorithm, denoted as Polar-FFA, which extends the original formulation by introducing a neural division (\emph{polarization}) between positive and negative instances. Neurons in each of these groups aim to maximize their goodness when presented with their respective data type, thereby creating a symmetric gradient behavior. To empirically gauge the improved learning capabilities of our proposed Polar-FFA, we perform several systematic experiments using different activation and goodness functions over image classification datasets. Our results demonstrate that Polar-FFA outperforms FFA in terms of accuracy and convergence speed. Furthermore, its lower reliance on hyperparameters reduces the need for hyperparameter tuning to guarantee optimal generalization capabilities, thereby allowing for a broader range of neural network configurations.
- Abstract（参考訳）: フォワードのみの学習アルゴリズムは、最近、勾配のバックプロパゲーションの代替として注目され、後者のソルバの後方ステップを、さらにコントラストのあるフォワードパスに置き換えた。
これらの手法のうち、いわゆるフォワード・フォワード・アルゴリズム(FFA)は、一般化と複雑性の観点から、競争性能のレベルを達成することが示されている。
FFAを用いてトレーニングされたネットワークは、実データ(正のサンプルとして記述された)で提示されたとき、層単位で定義された良性スコアを対照的に最大化し、合成データ(負のサンプル)を処理するとき、それを最小化する。
しかし、このアルゴリズムは、主に正と負のサンプルの勾配不均衡のため、モデルの精度と訓練安定性に悪影響を及ぼす弱点に直面している。
この問題を克服するために、我々は、正と負のインスタンスにニューラル分割(\emph{polarization})を導入することにより、元の定式化を拡張した、Polar-FFAと呼ばれるFFAアルゴリズムの新たな実装を提案する。
これらのグループのニューロンは、それぞれのデータ型を提示するときの良さを最大化することを目的としており、それによって対称的な勾配挙動を生み出す。
提案するPolar-FFAの学習能力向上を実証的に評価するために,画像分類データセット上で異なるアクティベーションと良性関数を用いて,いくつかの系統的な実験を行った。
以上の結果から,Polar-FFAはFFAよりも精度と収束速度が優れていることが示された。
さらに、ハイパーパラメータへの依存度が低いため、最適な一般化機能を保証するためにハイパーパラメータチューニングの必要性が軽減され、より広い範囲のニューラルネットワーク構成が可能になる。
関連論文リスト
- PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。
PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-09-24T07:57:21Z) - A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks [7.345136916791223]
フォワードフォワードアルゴリズム(FFA)は、ニューラルネットワーク学習における従来のバックプロパゲーションアルゴリズムの代替として、最近勢いを増している。
この研究は、各層を正および負のニューロンに分割するオリジナルのFFAの新たな修正であるSymmetric Forward-Forward Algorithm (SFFA)を提案する。
論文 参考訳（メタデータ） (2024-09-11T16:21:44Z) - Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing [7.345136916791223]
フォワード・フォワードアルゴリズム(FFA)は各層に局所学習規則を用いる。
局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、FFAはネオ・ヘビアン学習規則と等価であることを示す。
論文 参考訳（メタデータ） (2024-06-24T09:33:56Z) - Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。
時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。
BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。
BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-05-14T21:15:29Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Convergence rates for gradient descent in the training of
overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。
ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文 参考訳（メタデータ） (2021-02-23T18:17:47Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳（メタデータ） (2020-10-21T14:49:00Z) - Semi-Implicit Back Propagation [1.5533842336139065]
ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。
ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。
MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-10T03:26:09Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。