論文の概要: Emergent representations in networks trained with the Forward-Forward algorithm

• arxiv url: http://arxiv.org/abs/2305.18353v1
• Date: Fri, 26 May 2023 14:39:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 22:23:25.564807
• Title: Emergent representations in networks trained with the Forward-Forward algorithm
• Title（参考訳）: 前向きアルゴリズムで学習したネットワークにおける創発的表現
• Authors: Niccol\`o Tosato, Lorenzo Basile, Emanuele Ballarin, Giuseppe de Alteriis, Alberto Cazzaniga, Alessio Ansuini
• Abstract要約: 最近導入されたフォワードフォワードアルゴリズムは、バックプロパゲーションの従来のフォワードパスとバックプロパゲーションパスを2つのフォワードパスに置き換えている。 本研究では,Forward-Forwardアルゴリズムを用いて得られた内部表現が,頑健なカテゴリ固有アンサンブルにまとめられることを示す。 その結果, 後進パスを用いた場合においても, フォワードフォワードが提案する学習手順は, 大脳皮質のモデリング学習において, バックプロパゲーションよりも優れている可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.3701366534590498
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The Backpropagation algorithm, widely used to train neural networks, has often been criticised for its lack of biological realism. In an attempt to find a more biologically plausible alternative, and avoid to back-propagate gradients in favour of using local learning rules, the recently introduced Forward-Forward algorithm replaces the traditional forward and backward passes of Backpropagation with two forward passes. In this work, we show that internal representations obtained with the Forward-Forward algorithm organize into robust, category-specific ensembles, composed by an extremely low number of active units (high sparsity). This is remarkably similar to what is observed in cortical representations during sensory processing. While not found in models trained with standard Backpropagation, sparsity emerges also in networks optimized by Backpropagation, on the same training objective of Forward-Forward. These results suggest that the learning procedure proposed by Forward-Forward may be superior to Backpropagation in modelling learning in the cortex, even when a backward pass is used.
• Abstract（参考訳）: ニューラルネットワークのトレーニングに広く用いられているバックプロパゲーションアルゴリズムは、生物学的リアリズムの欠如をしばしば批判されている。 最近導入されたForward-Forwardアルゴリズムは、より生物学的に妥当な代替手段を見つけ、局所的な学習規則を使うためにバックプロパゲーション勾配を避けるために、従来のフォワードパスとバックプロパゲーションパスを2つのフォワードパスで置き換える。 本研究では,フォワードアルゴリズムで得られた内部表現を,極めて少ない数のアクティブユニット(高いスパーシティ)で構成した頑健なカテゴリ特異的アンサンブルに構成することを示す。 これは感覚処理中に皮質表現で観察されるものと著しく類似している。 標準的なバックプロパゲーションでトレーニングされたモデルには見られないが、バックプロパゲーションによって最適化されたネットワークでも、フォワードと同じトレーニング目標でsparsityが現れる。 これらの結果から, 後進パスを用いた場合においても, フォワードが提案する学習手順は, 大脳皮質のモデリング学習において, バックプロパゲーションよりも優れている可能性が示唆された。

関連論文リスト

• Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms [1.0514231683620516]
  Forward-Forwardアルゴリズムは、フォワードパスのみを通してディープラーニングモデルを訓練する。 バックプロパゲーションを置き換えるために,教師なしフォワードアルゴリズムを提案する。 安定した学習を導き、さまざまなデータセットやタスクで汎用的な利用を可能にします。
  論文  参考訳（メタデータ） (2024-04-23T01:49:12Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Reinforcement Learning with Trajectory Feedback [76.94405309609552]
  本研究では、この仮定を緩和する第一歩を踏み出し、より弱い形のフィードバックを必要とする。 あらゆる行動の後に得られる報酬を観察する代わりに、エージェントが観察する全軌道の質、すなわち、この軌道上で得られるすべての報酬の総和を表すスコアのみを受け取ると仮定する。 我々は、未知の遷移モデルと未知の遷移モデルの両方に対して、未知の報酬の最小二乗推定に基づいて強化学習アルゴリズムをこの設定に拡張し、それらの後悔を分析してこれらのアルゴリズムの性能について検討する。
  論文  参考訳（メタデータ） (2020-08-13T17:49:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。