論文の概要: Self-Contrastive Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2409.11593v2
• Date: Thu, 27 Mar 2025 15:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:38.780025
• Title: Self-Contrastive Forward-Forward Algorithm
• Title（参考訳）: 自己コントラストフォワードアルゴリズム
• Authors: Xing Chen, Dongshu Liu, Jeremie Laydevant, Julie Grollier,
• Abstract要約: フォワードフォワード (FF) アルゴリズムは、レイヤーワイドの目的を最適化するためにフィードフォワード演算に依存する。 FFは、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達できなかった。 本稿では,この性能ギャップを解消するための競争訓練手法である,自己コントラストフォワード(SCFF)アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 3.1361717406527667
• License:
• Abstract: Agents that operate autonomously benefit from lifelong learning capabilities. However, compatible training algorithms must comply with the decentralized nature of these systems, which imposes constraints on both the parameter counts and the computational resources. The Forward-Forward (FF) algorithm is one of these. FF relies only on feedforward operations, the same used for inference, for optimizing layer-wise objectives. This purely forward approach eliminates the need for transpose operations required in traditional backpropagation. Despite its potential, FF has failed to reach state-of-the-art performance on most standard benchmark tasks, in part due to unreliable negative data generation methods for unsupervised learning. In this work, we propose the Self-Contrastive Forward-Forward (SCFF) algorithm, a competitive training method aimed at closing this performance gap. Inspired by standard self-supervised contrastive learning for vision tasks, SCFF generates positive and negative inputs applicable across various datasets. The method demonstrates superior performance compared to existing unsupervised local learning algorithms on several benchmark datasets, including MNIST, CIFAR-10, STL-10, and Tiny ImageNet. We extend FF's application to training recurrent neural networks, expanding its utility to sequential data tasks. These findings pave the way for high-accuracy, real-time learning on resource-constrained edge devices.
• Abstract（参考訳）: 自律的に動作するエージェントは、生涯学習能力の恩恵を受ける。 しかし、互換性のあるトレーニングアルゴリズムは、パラメータ数と計算資源の両方に制約を課す、これらのシステムの分散した性質に従わなければならない。 Forward-Forward (FF)アルゴリズムもその1つである。 FFはフィードフォワード操作にのみ依存するが、これは推論に使われ、レイヤーワイドの目的を最適化するのと同じである。 この純粋なフォワードアプローチは、従来のバックプロパゲーションに必要な操作の変換を不要にする。 その可能性にもかかわらず、FFは、教師なし学習のための信頼性の低い負のデータ生成方法のために、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達できなかった。 本研究では,この性能ギャップを埋めるための競争訓練手法である,自己コントラストフォワードフォワード(SCFF)アルゴリズムを提案する。 視覚タスクのための標準的な自己教師型コントラスト学習にインスパイアされたSCFFは、さまざまなデータセットに適用可能な正および負の入力を生成する。 この手法は、MNIST、CIFAR-10、STL-10、Tiny ImageNetなど、既存の教師なしローカル学習アルゴリズムと比較して、優れた性能を示す。 FFのアプリケーションをリカレントニューラルネットワークのトレーニングに拡張し、そのユーティリティをシーケンシャルなデータタスクに拡張します。 これらの知見は、リソース制約されたエッジデバイス上での高精度でリアルタイムな学習の道を開いた。

関連論文リスト

• Distance-Forward Learning: Enhancing the Forward-Forward Algorithm Towards High-Performance On-Chip Learning [20.037634881772842]
  バックプロパゲーション(BP)の限界に対処する局所学習手法として,フォワードフォワード(FF)アルゴリズムが最近提案されている。 距離メトリック学習を用いてFFを再構成し、教師付き視覚タスクにおけるFF性能を改善するための距離フォワードアルゴリズム(DF)を提案する。 CIFAR-10では88.2%、CIFAR-100では59%、SVHNでは95.9%、ImageNetteでは82.5%である。
  論文  参考訳（メタデータ） (2024-08-27T10:01:43Z)
• Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm [5.1246638322893245]
  深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。 我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
  論文  参考訳（メタデータ） (2023-12-19T23:48:43Z)
• An NMF-Based Building Block for Interpretable Neural Networks With Continual Learning [0.8158530638728501]
  既存の学習方法は、解釈可能性と予測性能のバランスをとるのに苦労することが多い。 我々のアプローチは、NMFに基づくビルディングブロックを使用することで、これらの2つの側面のバランスを改善することを目的としています。
  論文  参考訳（メタデータ） (2023-11-20T02:00:33Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Fully Convolutional Networks for Continuous Sign Language Recognition [83.85895472824221]
  連続手話認識は、空間次元と時間次元の両方の学習を必要とする困難なタスクである。 本稿では,オンラインSLRのための完全畳み込みネットワーク (FCN) を提案し,弱い注釈付きビデオシーケンスから空間的特徴と時間的特徴を同時に学習する。
  論文  参考訳（メタデータ） (2020-07-24T08:16:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。