論文の概要: SymBa: Symmetric Backpropagation-Free Contrastive Learning with
Forward-Forward Algorithm for Optimizing Convergence
- arxiv url: http://arxiv.org/abs/2303.08418v1
- Date: Wed, 15 Mar 2023 07:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 14:38:24.261346
- Title: SymBa: Symmetric Backpropagation-Free Contrastive Learning with
Forward-Forward Algorithm for Optimizing Convergence
- Title（参考訳）: SymBa: 収束を最適化するフォワードフォワードアルゴリズムによる対称バックプロパゲーションフリーコントラスト学習
- Authors: Heung-Chang Lee, Jeonggeun Song
- Abstract要約: 本研究では,より生物学的に妥当な学習を実現することを目的とした,SymBaと呼ばれる新しいアルゴリズムを提案する。
これは、ニューラルネットワークをトレーニングするためのBPフリーな手法であるフォワード・フォワード(FF)アルゴリズムに基づいている。
提案したアルゴリズムは、脳が情報を学び、処理する方法の理解を深める可能性がある。
- 参考スコア（独自算出の注目度）: 1.6244541005112747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper proposes a new algorithm called SymBa that aims to achieve more
biologically plausible learning than Back-Propagation (BP). The algorithm is
based on the Forward-Forward (FF) algorithm, which is a BP-free method for
training neural networks. SymBa improves the FF algorithm's convergence
behavior by addressing the problem of asymmetric gradients caused by
conflicting converging directions for positive and negative samples. The
algorithm balances positive and negative losses to enhance performance and
convergence speed. Furthermore, it modifies the FF algorithm by adding
Intrinsic Class Pattern (ICP) containing class information to prevent the loss
of class information during training. The proposed algorithm has the potential
to improve our understanding of how the brain learns and processes information
and to develop more effective and efficient artificial intelligence systems.
The paper presents experimental results that demonstrate the effectiveness of
SymBa algorithm compared to the FF algorithm and BP.
- Abstract（参考訳）: 本稿では,バックプロパゲーション(BP)よりも生物学的に妥当な学習を実現することを目的とした,SymBaと呼ばれる新しいアルゴリズムを提案する。
このアルゴリズムは、ニューラルネットワークをトレーニングするためのbpフリーな手法であるフォワードフォワード(ff)アルゴリズムに基づいている。
symbaは正と負のサンプルの収束方向の矛盾に起因する非対称勾配の問題に対処することでffアルゴリズムの収束挙動を改善する。
このアルゴリズムは正の損失と負の損失のバランスをとり、性能と収束速度を高める。
さらに、クラス情報を含む固有クラスパターン(ICP)を追加してFFアルゴリズムを変更し、トレーニング中のクラス情報の損失を防止する。
提案アルゴリズムは、脳が情報を学び、処理する方法の理解を深め、より効率的で効率的な人工知能システムを開発する可能性がある。
本稿では,FFアルゴリズムやBPと比較してSymBaアルゴリズムの有効性を示す実験結果を示す。
関連論文リスト
- Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。
WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文 参考訳（メタデータ） (2024-10-28T04:47:39Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。
我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。
PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文 参考訳（メタデータ） (2023-01-04T05:34:48Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - An Improved Reinforcement Learning Algorithm for Learning to Branch [12.27934038849211]
ブランチ・アンド・バウンド(B&B)は最適化の一般的な方法である。
本稿では,新しい強化学習に基づくB&Bアルゴリズムを提案する。
提案アルゴリズムの性能を3つの公開研究ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-01-17T04:50:11Z) - Neural Network Adversarial Attack Method Based on Improved Genetic
Algorithm [0.0]
改良された遺伝的アルゴリズムに基づくニューラルネットワーク逆攻撃法を提案する。
この方法は、ニューラルネットワークモデルの内部構造やパラメータ情報を必要としない。
論文 参考訳（メタデータ） (2021-10-05T04:46:16Z) - A bi-level encoding scheme for the clustered shortest-path tree problem
in multifactorial optimization [1.471992435706872]
CluSPT(Clustered Shortest-Path Tree Problem)は、実生活における様々な最適化問題において重要な役割を果たしている。
近年、CluSPTを扱うためにMFEA(Multifactorial Evolutionary Algorithm)が導入されている。
本稿では,MFEAに基づくCluSPTの解法について述べる。
論文 参考訳（メタデータ） (2021-02-12T13:36:07Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。