論文の概要: Error-driven Input Modulation: Solving the Credit Assignment Problem without a Backward Pass

• arxiv url: http://arxiv.org/abs/2201.11665v3
• Date: Sun, 4 Jun 2023 17:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 05:52:32.461086
• Title: Error-driven Input Modulation: Solving the Credit Assignment Problem without a Backward Pass
• Title（参考訳）: 誤り駆動型入力変調:後進パスのないクレジット割り当て問題の解決
• Authors: Giorgia Dellaferrera, Gabriel Kreiman
• Abstract要約: ニューラルネットワークにおける教師付き学習は、一般的にバックプロパゲーションに依存している。 このアプローチには多くの点において生物学的な妥当性が欠如していることが示されている。 本稿では,入力信号がネットワークの誤りに基づいて変調される第2のフォワードパスに置き換えることを提案する。
• 参考スコア（独自算出の注目度）: 8.39059551023011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning in artificial neural networks typically relies on backpropagation, where the weights are updated based on the error-function gradients and sequentially propagated from the output layer to the input layer. Although this approach has proven effective in a wide domain of applications, it lacks biological plausibility in many regards, including the weight symmetry problem, the dependence of learning on non-local signals, the freezing of neural activity during error propagation, and the update locking problem. Alternative training schemes have been introduced, including sign symmetry, feedback alignment, and direct feedback alignment, but they invariably rely on a backward pass that hinders the possibility of solving all the issues simultaneously. Here, we propose to replace the backward pass with a second forward pass in which the input signal is modulated based on the error of the network. We show that this novel learning rule comprehensively addresses all the above-mentioned issues and can be applied to both fully connected and convolutional models. We test this learning rule on MNIST, CIFAR-10, and CIFAR-100. These results help incorporate biological principles into machine learning.
• Abstract（参考訳）: ニューラルネットワークの監視学習は一般的にバックプロパゲーションに依存し、エラー関数の勾配に基づいて重みが更新され、出力層から入力層へ順次伝播する。 このアプローチは幅広い応用分野において有効であることが証明されているが、重量対称性問題、非局所的な信号への学習の依存、エラー伝播時の神経活動の凍結、更新ロック問題など、多くの点で生物学的な妥当性に欠ける。 信号対称性、フィードバックアライメント、直接的なフィードバックアライメントなど、代替のトレーニングスキームが導入されたが、それらは必ず、すべての問題を同時に解決する可能性を妨げる後方パスに依存している。 本稿では,ネットワークの誤差に応じて入力信号が変調される第2のフォワードパスにバックワードパスを置き換えることを提案する。 この新しい学習規則は,上記の問題をすべて包括的に解決し,完全連結モデルと畳み込みモデルの両方に適用可能であることを示す。 MNIST, CIFAR-10, CIFAR-100でこの学習規則を検証した。 これらの結果は、生物学的原理を機械学習に組み込むのに役立つ。

関連論文リスト

• Prime and Modulate Learning: Generation of forward models with signed back-propagation and environmental cues [0.0]
  エラーバックプロパゲーションを学習に用いたディープニューラルネットワークは、爆発や勾配問題の解消に悩まされる可能性がある。 この研究では、バックプロパゲーションがエラー信号の符号を排他的に利用して学習を素数化する、別のアプローチに従う。 本稿では,z空間における学習規則の数学的導出と,ロボットプラットフォームによるリアルタイム性能の実証を行う。
  論文  参考訳（メタデータ） (2023-09-07T16:34:30Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Sign and Relevance Learning [0.0]
  生物学的に現実的な強化学習の標準モデルは、浅いネットワークの使用を暗示するグローバルエラー信号を使用する。 本研究では,塑性変化の兆候のみを伝播させることにより,この問題を解決する新しいネットワークを提案する。 ニューロ変調は、修正エラーまたは関連信号として理解でき、エラー信号のトップダウンサインは、長期的うつ病が発生するかどうかを決定する。
  論文  参考訳（メタデータ） (2021-10-14T11:57:57Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Gradient-trained Weights in Wide Neural Networks Align Layerwise to Error-scaled Input Correlations [11.176824373696324]
  我々は、勾配降下によって訓練された非線形活性化を伴う無限幅ニューラルネットワークの層方向の重みダイナミクスを導出する。 我々は、バックプロパゲーションと同じアライメントを理論的に達成するバックプロパゲーションフリー学習ルール、Align-zeroとAlign-adaを定式化した。
  論文  参考訳（メタデータ） (2021-06-15T21:56:38Z)
• Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
  直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。 DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。 本稿では,DFAの成功に関する理論を提案する。
  論文  参考訳（メタデータ） (2020-11-24T22:21:27Z)
• Biological credit assignment through dynamic inversion of feedforward networks [11.345796608258434]
  フィードフォワードネットワーク変換は動的に効果的に逆変換できることを示す。 我々はこれらのダイナミクスを汎用フィードフォワードネットワークにマッピングし、その結果のアルゴリズムが教師なしおよび教師なしのデータセットでうまく動作することを示す。
  論文  参考訳（メタデータ） (2020-07-10T00:03:01Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。