論文の概要: Towards Scaling Difference Target Propagation by Learning Backprop Targets

• arxiv url: http://arxiv.org/abs/2201.13415v1
• Date: Mon, 31 Jan 2022 18:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 05:14:24.207864
• Title: Towards Scaling Difference Target Propagation by Learning Backprop Targets
• Title（参考訳）: バックプロップターゲット学習による差分ターゲット伝播のスケールアップに向けて
• Authors: Maxence Ernoult, Fabrice Normandin, Abhinav Moudgil, Sean Spinney, Eugene Belilovsky, Irina Rish, Blake Richards, Yoshua Bengio
• Abstract要約: Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
• 参考スコア（独自算出の注目度）: 64.90165892557776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of biologically-plausible learning algorithms is important for understanding learning in the brain, but most of them fail to scale-up to real-world tasks, limiting their potential as explanations for learning by real brains. As such, it is important to explore learning algorithms that come with strong theoretical guarantees and can match the performance of backpropagation (BP) on complex tasks. One such algorithm is Difference Target Propagation (DTP), a biologically-plausible learning algorithm whose close relation with Gauss-Newton (GN) optimization has been recently established. However, the conditions under which this connection rigorously holds preclude layer-wise training of the feedback pathway synaptic weights (which is more biologically plausible). Moreover, good alignment between DTP weight updates and loss gradients is only loosely guaranteed and under very specific conditions for the architecture being trained. In this paper, we propose a novel feedback weight training scheme that ensures both that DTP approximates BP and that layer-wise feedback weight training can be restored without sacrificing any theoretical guarantees. Our theory is corroborated by experimental results and we report the best performance ever achieved by DTP on CIFAR-10 and ImageNet 32$\times$32
• Abstract（参考訳）: 生物学的に評価可能な学習アルゴリズムの開発は、脳内の学習を理解する上で重要であるが、そのほとんどは現実世界のタスクにスケールアップできず、実際の脳による学習のための説明としての可能性を制限する。 そのため、理論的な保証が強く、複雑なタスクにおけるバックプロパゲーション(BP)の性能に合致する学習アルゴリズムを検討することが重要である。 このようなアルゴリズムの1つは、gauss-newton(gn)最適化と密接な関係を持つ生物学的に可読な学習アルゴリズムであるdtpである。 しかしながら、この接続が厳格に保持される条件は、フィードバック経路シナプス重み(より生物学的に妥当な)の層的訓練を妨げている。 さらに、dtpの重みの更新と損失勾配の適切な調整は、ゆるく保証され、トレーニングされるアーキテクチャの非常に特定の条件下でのみ行われる。 本稿では, dtpがbpに近似していることと, 理論的な保証を犠牲にすることなく, 層間フィードバック重みトレーニングを再開できることの両方を保証する, フィードバック重みトレーニング方式を提案する。 我々の理論は実験結果に裏付けられ、cifar-10とimagenet 32$\times$32でdtpが達成した最高の性能を報告します。

関連論文リスト

• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Hebbian Deep Learning Without Feedback [0.0]
  我々は、フィードバック、ターゲット、エラー信号なしでディープニューラルネットワークをトレーニングするアルゴリズムであるSoftHebbを紹介する。 その効率性と生物学的適合性の向上は、最先端の生物工学学習と比べて正確さを損なわない。
  論文  参考訳（メタデータ） (2022-09-23T23:12:59Z)
• A Theoretical Framework for Inference Learning [1.433758865948252]
  バックプロパゲーション(BP)はディープラーニングにおいて最も成功し、広く使われているアルゴリズムである。 推論学習アルゴリズム(IL)は皮質機能の神経生物学モデルと密接に関連している。 ILは、教師付き学習と自己連想タスクにおけるBPと同等のパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2022-06-01T00:38:55Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
  計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。 これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-03-08T11:52:51Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Regularized Evolutionary Population-Based Training [11.624954122221562]
  本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。 EPBTは画像分類ベンチマークを高速かつ正確に学習する。
  論文  参考訳（メタデータ） (2020-02-11T06:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。