論文の概要: Improved Forward-Forward Contrastive Learning

• arxiv url: http://arxiv.org/abs/2405.03432v3
• Date: Sun, 26 May 2024 16:40:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 05:37:42.389693
• Title: Improved Forward-Forward Contrastive Learning
• Title（参考訳）: 前向きコントラスト学習の改善
• Authors: Gananath R,
• Abstract要約: バックプロパゲーションアルゴリズム(バックプロパゲーションアルゴリズム、英: backpropagation algorithm)は、ディープラーニングにおいて広く利用されている最適化手法である。 生物学的脳で学ぶためのバックプロップのような方法はまだ見つかっていない。 提案手法では,FFCLの最後の2段階を除去し,通常のバックプロパゲーションを完全に除去することで,これらの欠点に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The backpropagation algorithm, or backprop, is a widely utilized optimization technique in deep learning. While there's growing evidence suggesting that models trained with backprop can accurately explain neuronal data, no backprop-like method has yet been discovered in the biological brain for learning. Moreover, employing a naive implementation of backprop in the brain has several drawbacks. In 2022, Geoffrey Hinton proposed a biologically plausible learning method known as the Forward-Forward (FF) algorithm. Shortly after this paper, a modified version called FFCL was introduced. However, FFCL had limitations, notably being a three-stage learning system where the final stage still relied on regular backpropagation. In our approach, we address these drawbacks by eliminating the last two stages of FFCL and completely removing regular backpropagation. Instead, we rely solely on local updates, offering a more biologically plausible alternative.
• Abstract（参考訳）: バックプロパゲーションアルゴリズム(バックプロパゲーションアルゴリズム、英: backpropagation algorithm)は、ディープラーニングにおいて広く利用されている最適化手法である。 バックプロップで訓練されたモデルが神経データを正確に説明できるという証拠が増えているが、生物学の脳では、バックプロップのような方法がまだ見つかっていない。 さらに、脳内のバックプロップの素直な実装を利用することには、いくつかの欠点がある。 2022年、ジェフリー・ヒントン (Geoffrey Hinton) はフォワード・フォワード (FF) アルゴリズムと呼ばれる生物学的に妥当な学習法を提案した。 この記事の直後にFFCLと呼ばれる改良版が導入された。 しかし、FFCLには制限があり、特に3段階の学習システムであり、最終段階は通常のバックプロパゲーションに依存していた。 提案手法では,FFCLの最後の2段階を除去し,通常のバックプロパゲーションを完全に除去することで,これらの欠点に対処する。 代わりに、ローカルアップデートにのみ依存し、より生物学的に可能な代替手段を提供しています。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Forward Signal Propagation Learning [2.578242050187029]
  本稿では,学習信号を伝達し,フォワードパスを介してニューラルネットワークパラメータを更新する学習アルゴリズムを提案する。 生物学では、フィードバックのないニューロンが依然としてグローバルな学習信号を受信する方法を説明する。 sigpropは、フォワードパスのみで、グローバルな教師付き学習を可能にする。
  論文  参考訳（メタデータ） (2022-04-04T04:41:59Z)
• Bilevel Programming and Deep Learning: A Unifying View on Inference Learning Methods [25.775517797956237]
  我々はすべての推論学習手法が特別なケースとしてバックプロパゲーションを含むことを示した。 標準バックプロパゲーションにおける無限小補正の伝播を学習信号として有限ターゲットに置き換えるFenchelバックプロパゲーションを提案する。
  論文  参考訳（メタデータ） (2021-05-15T14:19:00Z)
• A More Biologically Plausible Local Learning Rule for ANNs [6.85316573653194]
  提案した学習規則は, 塑性と神経関連性に依存するスパイクタイミングの概念から導かれる。 MNISTとIRISデータセットのバイナリ分類に関する予備評価は、バックプロパゲーションと同等の性能を示す。 学習のローカルな性質は、ネットワークにおける大規模分散学習と並列学習の可能性をもたらす。
  論文  参考訳（メタデータ） (2020-11-24T10:35:47Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。