論文の概要: A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks

• arxiv url: http://arxiv.org/abs/2409.07387v1
• Date: Wed, 11 Sep 2024 16:21:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 13:53:24.295260
• Title: A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks
• Title（参考訳）: 連続学習課題に対する比較対称フォワードアルゴリズム(SFFA)
• Authors: Erik B. Terres-Escudero, Javier Del Ser, Pablo Garcia Bringas,
• Abstract要約: フォワードフォワードアルゴリズム(FFA)は、ニューラルネットワーク学習における従来のバックプロパゲーションアルゴリズムの代替として、最近勢いを増している。 この研究は、各層を正および負のニューロンに分割するオリジナルのFFAの新たな修正であるSymmetric Forward-Forward Algorithm (SFFA)を提案する。
• 参考スコア（独自算出の注目度）: 7.345136916791223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The so-called Forward-Forward Algorithm (FFA) has recently gained momentum as an alternative to the conventional back-propagation algorithm for neural network learning, yielding competitive performance across various modeling tasks. By replacing the backward pass of gradient back-propagation with two contrastive forward passes, the FFA avoids several shortcomings undergone by its predecessor (e.g., vanishing/exploding gradient) by enabling layer-wise training heuristics. In classification tasks, this contrastive method has been proven to effectively create a latent sparse representation of the input data, ultimately favoring discriminability. However, FFA exhibits an inherent asymmetric gradient behavior due to an imbalanced loss function between positive and negative data, adversely impacting on the model's generalization capabilities and leading to an accuracy degradation. To address this issue, this work proposes the Symmetric Forward-Forward Algorithm (SFFA), a novel modification of the original FFA which partitions each layer into positive and negative neurons. This allows the local fitness function to be defined as the ratio between the activation of positive neurons and the overall layer activity, resulting in a symmetric loss landscape during the training phase. To evaluate the enhanced convergence of our method, we conduct several experiments using multiple image classification benchmarks, comparing the accuracy of models trained with SFFA to those trained with its FFA counterpart. As a byproduct of this reformulation, we explore the advantages of using a layer-wise training algorithm for Continual Learning (CL) tasks. The specialization of neurons and the sparsity of their activations induced by layer-wise training algorithms enable efficient CL strategies that incorporate new knowledge (classes) into the neural network, while preventing catastrophic forgetting of previously...
• Abstract（参考訳）: いわゆるフォワードフォワードアルゴリズム(FFA)は、ニューラルネットワーク学習の従来のバックプロパゲーションアルゴリズムの代替として、最近勢いを増し、様々なモデリングタスク間で競合するパフォーマンスを生み出している。 勾配の後方伝播の後方通過を2つの対照的な前方通過に置き換えることにより、FFAは、階層的なトレーニングヒューリスティックを可能にすることにより、前者(例えば、消滅/爆発勾配)によるいくつかの欠点を避けることができる。 分類タスクにおいて、このコントラスト法は、入力データの潜在スパース表現を効果的に生成することが証明され、最終的には識別可能性を好む。 しかし、FFAは、正と負のデータの間の不均衡な損失関数による固有の非対称な勾配挙動を示し、モデルの一般化能力に悪影響を及ぼし、精度を低下させる。 この問題に対処するため、本研究では、各層を正および負のニューロンに分割するオリジナルのFFAの新たな修正である、Symmetric Forward-Forward Algorithm (SFFA)を提案する。 これにより、局所的なフィットネス関数は、正のニューロンの活性化と全体の層活動の比として定義され、トレーニングフェーズ中に対称的な損失ランドスケープをもたらす。 本手法の収束性を評価するため,複数の画像分類ベンチマークを用いて,SFFAで訓練したモデルの精度とFFAで訓練したモデルの精度を比較した。 この改革の副産物として、連続学習(CL)タスクに階層的学習アルゴリズムを用いることの利点について検討する。 神経細胞の特殊化とレイヤーワイドトレーニングアルゴリズムによって誘導される活性化の空間性により、ニューラルネットワークに新しい知識(クラス)を組み込む効率的なCL戦略が実現される。

関連論文リスト

• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。 PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• On the Improvement of Generalization and Stability of Forward-Only Learning via Neural Polarization [7.345136916791223]
  Forward-Forward Algorithm (FFA) は、一般化と複雑性の観点から、競争性能のレベルを達成することが示されている。 本稿では、ニューラル除算を導入して元の定式化を拡張するPola-FFAと呼ばれる新しいFFAアルゴリズムの実装を提案する。 以上の結果から,Polar-FFAはFFAよりも精度と収束速度が優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-17T14:32:18Z)
• Emerging NeoHebbian Dynamics in Forward-Forward Learning: Implications for Neuromorphic Computing [7.345136916791223]
  フォワード・フォワードアルゴリズム(FFA)は各層に局所学習規則を用いる。 局所学習を駆動する良さ関数として2乗ユークリッドノルムを用いる場合、FFAはネオ・ヘビアン学習規則と等価であることを示す。
  論文  参考訳（メタデータ） (2024-06-24T09:33:56Z)
• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。