論文の概要: Forward Signal Propagation Learning

• arxiv url: http://arxiv.org/abs/2204.01723v1
• Date: Mon, 4 Apr 2022 04:41:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 15:02:06.802917
• Title: Forward Signal Propagation Learning
• Title（参考訳）: 前向き信号伝搬学習
• Authors: Adam Kohan, Edward A. Rietman, Hava T. Siegelmann
• Abstract要約: 本稿では,学習信号を伝達し,フォワードパスを介してニューラルネットワークパラメータを更新する学習アルゴリズムを提案する。 生物学では、フィードバックのないニューロンが依然としてグローバルな学習信号を受信する方法を説明する。 sigpropは、フォワードパスのみで、グローバルな教師付き学習を可能にする。
• 参考スコア（独自算出の注目度）: 2.578242050187029
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a new learning algorithm for propagating a learning signal and updating neural network parameters via a forward pass, as an alternative to backpropagation. In forward signal propagation learning (sigprop), there is only the forward path for learning and inference, so there are no additional structural or computational constraints on learning, such as feedback connectivity, weight transport, or a backward pass, which exist under backpropagation. Sigprop enables global supervised learning with only a forward path. This is ideal for parallel training of layers or modules. In biology, this explains how neurons without feedback connections can still receive a global learning signal. In hardware, this provides an approach for global supervised learning without backward connectivity. Sigprop by design has better compatibility with models of learning in the brain and in hardware than backpropagation and alternative approaches to relaxing learning constraints. We also demonstrate that sigprop is more efficient in time and memory than they are. To further explain the behavior of sigprop, we provide evidence that sigprop provides useful learning signals in context to backpropagation. To further support relevance to biological and hardware learning, we use sigprop to train continuous time neural networks with Hebbian updates and train spiking neural networks without surrogate functions.
• Abstract（参考訳）: バックプロパゲーションの代替として,学習信号を伝達し,フォワードパスを介してニューラルネットワークパラメータを更新する新しい学習アルゴリズムを提案する。 forward signal propagation learning (sigprop) では、学習と推論のための前方経路しか存在せず、フィードバック接続や重み輸送、バックプロパゲーション下で存在する後方通過といった学習に関する構造的あるいは計算的な制約は存在しない。 Sigpropは、フォワードパスだけでグローバルな教師あり学習を可能にする。 これは、レイヤやモジュールの並列トレーニングに理想的です。 生物学では、フィードバック接続のないニューロンがグローバル学習信号を受信する方法を説明する。 ハードウェアでは、後方接続のないグローバル教師あり学習のアプローチを提供する。 Sigprop by Designは、バックプロパゲーションや学習制約緩和のための代替アプローチよりも、脳やハードウェアでの学習モデルとの互換性が優れている。 また、シグプロップは時間やメモリよりも効率的であることを示す。 sigpropの挙動をさらに説明するために,sigpropがバックプロパゲーションの文脈において有用な学習信号を提供することを示す。 生物とハードウェアの学習の関連性をさらに高めるため,我々はsigpropを用いて,ヒュービアン更新を用いた連続時間ニューラルネットワークのトレーニングと,関数をサロゲートすることなくスパイクニューラルネットワークのトレーニングを行う。

関連論文リスト

• Online Training of Hopfield Networks using Predictive Coding [0.1843404256219181]
  予測符号化(PC)は、生物学的に関連する方法で誤差の逆伝播を近似することが示されている。 PCモデルは、情報を双方向に渡すことで、より正確に脳を模倣する。 ニューラルネットワークのトレーニングにPC学習を直接適用したのはこれが初めてだ。
  論文  参考訳（メタデータ） (2024-06-20T20:38:22Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents [0.0]
  ニューラルネットワークをトレーニングする別の方法は、ネットワークの各ユニットを強化学習エージェントとして扱うことである。 本稿では,この分散を著しく低減するMAP伝搬という新しいアルゴリズムを提案する。 当社の作業は、深層強化学習におけるエージェントチームの広範な適用を可能にします。
  論文  参考訳（メタデータ） (2020-10-15T17:17:39Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
  繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。 我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
  論文  参考訳（メタデータ） (2020-05-03T20:51:46Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。