論文の概要: Self-Contrastive Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2409.11593v1
• Date: Tue, 17 Sep 2024 22:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 19:39:45.320743
• Title: Self-Contrastive Forward-Forward Algorithm
• Title（参考訳）: 自己コントラストフォワードアルゴリズム
• Authors: Xing Chen, Dongshu Liu, Jeremie Laydevant, Julie Grollier,
• Abstract要約: 本稿では,自己指導型コントラスト学習に触発された自己コントラストフォワード(SCFF)手法を提案する。 SCFFは、さまざまなデータセットに適用可能な正および負の例を生成する。 これは、リカレントニューラルネットワークのFFトレーニングを有効にし、より複雑なタスクへの扉を開く最初のものだ。
• 参考スコア（独自算出の注目度）: 3.1361717406527667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Forward-Forward (FF) algorithm is a recent, purely forward-mode learning method, that updates weights locally and layer-wise and supports supervised as well as unsupervised learning. These features make it ideal for applications such as brain-inspired learning, low-power hardware neural networks, and distributed learning in large models. However, while FF has shown promise on written digit recognition tasks, its performance on natural images and time-series remains a challenge. A key limitation is the need to generate high-quality negative examples for contrastive learning, especially in unsupervised tasks, where versatile solutions are currently lacking. To address this, we introduce the Self-Contrastive Forward-Forward (SCFF) method, inspired by self-supervised contrastive learning. SCFF generates positive and negative examples applicable across different datasets, surpassing existing local forward algorithms for unsupervised classification accuracy on MNIST (MLP: 98.7%), CIFAR-10 (CNN: 80.75%), and STL-10 (CNN: 77.3%). Additionally, SCFF is the first to enable FF training of recurrent neural networks, opening the door to more complex tasks and continuous-time video and text processing.
• Abstract（参考訳）: The Forward-Forward (FF) algorithm is a recent, purely forward-mode learning method。 これらの機能は、脳にインスパイアされた学習、低消費電力のハードウェアニューラルネットワーク、大規模モデルでの分散学習などのアプリケーションに理想的だ。 しかし、FFは手書きの数字認識タスクを約束しているが、自然画像や時系列のパフォーマンスは依然として課題である。 鍵となる制限は、対照的な学習のための高品質なネガティブな例を生成する必要があることである。 そこで本研究では,自己指導型コントラスト学習に触発された自己コントラストフォワード(SCFF)手法を提案する。 SCFFは、MNIST(MLP:98.7%)、CIFAR-10(CNN:80.75%)、STL-10(CNN:77.3%)で、既存のローカルフォワードアルゴリズムを上回り、様々なデータセットに適用可能な正および負の例を生成する。 さらに、SCFFは、リカレントニューラルネットワークのFFトレーニングを有効にし、より複雑なタスクへの扉を開き、ビデオとテキストの連続処理を可能にする最初のものである。

関連論文リスト

• Distance-Forward Learning: Enhancing the Forward-Forward Algorithm Towards High-Performance On-Chip Learning [20.037634881772842]
  バックプロパゲーション(BP)の限界に対処する局所学習手法として,フォワードフォワード(FF)アルゴリズムが最近提案されている。 距離メトリック学習を用いてFFを再構成し、教師付き視覚タスクにおけるFF性能を改善するための距離フォワードアルゴリズム(DF)を提案する。 CIFAR-10では88.2%、CIFAR-100では59%、SVHNでは95.9%、ImageNetteでは82.5%である。
  論文  参考訳（メタデータ） (2024-08-27T10:01:43Z)
• Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm [5.1246638322893245]
  深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。 我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
  論文  参考訳（メタデータ） (2023-12-19T23:48:43Z)
• An NMF-Based Building Block for Interpretable Neural Networks With Continual Learning [0.8158530638728501]
  既存の学習方法は、解釈可能性と予測性能のバランスをとるのに苦労することが多い。 我々のアプローチは、NMFに基づくビルディングブロックを使用することで、これらの2つの側面のバランスを改善することを目的としています。
  論文  参考訳（メタデータ） (2023-11-20T02:00:33Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。