論文の概要: SymBa: Symmetric Backpropagation-Free Contrastive Learning with
Forward-Forward Algorithm for Optimizing Convergence
- arxiv url: http://arxiv.org/abs/2303.08418v1
- Date: Wed, 15 Mar 2023 07:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 14:38:24.261346
- Title: SymBa: Symmetric Backpropagation-Free Contrastive Learning with
Forward-Forward Algorithm for Optimizing Convergence
- Title（参考訳）: SymBa: 収束を最適化するフォワードフォワードアルゴリズムによる対称バックプロパゲーションフリーコントラスト学習
- Authors: Heung-Chang Lee, Jeonggeun Song
- Abstract要約: 本研究では,より生物学的に妥当な学習を実現することを目的とした,SymBaと呼ばれる新しいアルゴリズムを提案する。
これは、ニューラルネットワークをトレーニングするためのBPフリーな手法であるフォワード・フォワード(FF)アルゴリズムに基づいている。
提案したアルゴリズムは、脳が情報を学び、処理する方法の理解を深める可能性がある。
- 参考スコア（独自算出の注目度）: 1.6244541005112747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper proposes a new algorithm called SymBa that aims to achieve more
biologically plausible learning than Back-Propagation (BP). The algorithm is
based on the Forward-Forward (FF) algorithm, which is a BP-free method for
training neural networks. SymBa improves the FF algorithm's convergence
behavior by addressing the problem of asymmetric gradients caused by
conflicting converging directions for positive and negative samples. The
algorithm balances positive and negative losses to enhance performance and
convergence speed. Furthermore, it modifies the FF algorithm by adding
Intrinsic Class Pattern (ICP) containing class information to prevent the loss
of class information during training. The proposed algorithm has the potential
to improve our understanding of how the brain learns and processes information
and to develop more effective and efficient artificial intelligence systems.
The paper presents experimental results that demonstrate the effectiveness of
SymBa algorithm compared to the FF algorithm and BP.
- Abstract（参考訳）: 本稿では,バックプロパゲーション(BP)よりも生物学的に妥当な学習を実現することを目的とした,SymBaと呼ばれる新しいアルゴリズムを提案する。
このアルゴリズムは、ニューラルネットワークをトレーニングするためのbpフリーな手法であるフォワードフォワード(ff)アルゴリズムに基づいている。
symbaは正と負のサンプルの収束方向の矛盾に起因する非対称勾配の問題に対処することでffアルゴリズムの収束挙動を改善する。
このアルゴリズムは正の損失と負の損失のバランスをとり、性能と収束速度を高める。
さらに、クラス情報を含む固有クラスパターン(ICP)を追加してFFアルゴリズムを変更し、トレーニング中のクラス情報の損失を防止する。
提案アルゴリズムは、脳が情報を学び、処理する方法の理解を深め、より効率的で効率的な人工知能システムを開発する可能性がある。
本稿では,FFアルゴリズムやBPと比較してSymBaアルゴリズムの有効性を示す実験結果を示す。
関連論文リスト
- The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,予測フォワード(PFF)アルゴリズムと呼ぶ,フォワードフォワード(FF)アルゴリズムの一般化を提案する。
我々は,表現回路と同時かつ同時に有向生成回路を学習する動的再帰型ニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - An Improved Reinforcement Learning Algorithm for Learning to Branch [12.27934038849211]
ブランチ・アンド・バウンド(B&B)は最適化の一般的な方法である。
本稿では,新しい強化学習に基づくB&Bアルゴリズムを提案する。
提案アルゴリズムの性能を3つの公開研究ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-01-17T04:50:11Z) - Neural Network Adversarial Attack Method Based on Improved Genetic
Algorithm [0.0]
改良された遺伝的アルゴリズムに基づくニューラルネットワーク逆攻撃法を提案する。
この方法は、ニューラルネットワークモデルの内部構造やパラメータ情報を必要としない。
論文 参考訳（メタデータ） (2021-10-05T04:46:16Z) - A bi-level encoding scheme for the clustered shortest-path tree problem
in multifactorial optimization [1.471992435706872]
CluSPT(Clustered Shortest-Path Tree Problem)は、実生活における様々な最適化問題において重要な役割を果たしている。
近年、CluSPTを扱うためにMFEA(Multifactorial Evolutionary Algorithm)が導入されている。
本稿では,MFEAに基づくCluSPTの解法について述べる。
論文 参考訳（メタデータ） (2021-02-12T13:36:07Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳（メタデータ） (2020-10-21T17:14:31Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。