論文の概要: Scaling up learning with GAIT-prop

• arxiv url: http://arxiv.org/abs/2102.11598v1
• Date: Tue, 23 Feb 2021 10:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 14:08:36.559792
• Title: Scaling up learning with GAIT-prop
• Title（参考訳）: GAIT-propで学習をスケールアップ
• Authors: Sander Dalm, Nasir Ahmad, Luca Ambrogioni, Marcel van Gerven
• Abstract要約: backpropagation of error (bp) は広く使われ、非常に成功した学習アルゴリズムである。 しかし、エラーグラデーションの伝播における非局所情報への依存は、脳内で学習する可能性は低いと思われます。 この研究は、最近BPを生物学的に妥当な方法で近似することが示されているような局所的な学習アルゴリズムに基づいている。
• 参考スコア（独自算出の注目度）: 7.142235510048154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation of error (BP) is a widely used and highly successful learning algorithm. However, its reliance on non-local information in propagating error gradients makes it seem an unlikely candidate for learning in the brain. In the last decade, a number of investigations have been carried out focused upon determining whether alternative more biologically plausible computations can be used to approximate BP. This work builds on such a local learning algorithm - Gradient Adjusted Incremental Target Propagation (GAIT-prop) - which has recently been shown to approximate BP in a manner which appears biologically plausible. This method constructs local, layer-wise weight update targets in order to enable plausible credit assignment. However, in deep networks, the local weight updates computed by GAIT-prop can deviate from BP for a number of reasons. Here, we provide and test methods to overcome such sources of error. In particular, we adaptively rescale the locally-computed errors and show that this significantly increases the performance and stability of the GAIT-prop algorithm when applied to the CIFAR-10 dataset.
• Abstract（参考訳）: backpropagation of error (bp) は広く使われ、非常に成功した学習アルゴリズムである。 しかし、エラーグラデーションの伝播における非局所情報への依存は、脳内で学習する可能性は低いと思われます。 過去10年間で、より生物学的に有理な計算がbpの近似に使用できるかどうかの判断に焦点が当てられた多くの研究が行われている。 この研究は、局所的な学習アルゴリズムであるGradient Adjusted Incremental Target Propagation (GAIT-prop)に基づいており、最近、BPを生物学的に証明可能な方法で近似することが示されている。 本手法は, 局所的, 層単位の重み更新ターゲットを構築し, 信頼性の高い信用代入を可能にする。 しかし、ディープネットワークでは、GAIT-propによって計算された局所的な重量更新は、BPから多くの理由で逸脱することがある。 ここでは、このようなエラーの原因を克服するためのメソッドを提供し、テストする。 特に、局所計算誤差を適応的に再スケールし、CIFAR-10データセットに適用すると、GAIT-propアルゴリズムの性能と安定性が著しく向上することを示す。

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
  本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。 これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:52:26Z)
• GAIT-prop: A biologically plausible learning rule derived from backpropagation of error [9.948484577581796]
  バックプロパゲーションとターゲット伝搬の修正形態の正確な対応を示す。 一連のコンピュータビジョン実験において,バックプロパゲーションとGAIT-propのほぼ同一性能を示す。
  論文  参考訳（メタデータ） (2020-06-11T13:52:03Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。