論文の概要: A Theoretical Framework for Target Propagation

• arxiv url: http://arxiv.org/abs/2006.14331v4
• Date: Wed, 16 Dec 2020 16:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:13:31.433598
• Title: A Theoretical Framework for Target Propagation
• Title（参考訳）: ターゲット伝播のための理論的枠組み
• Authors: Alexander Meulemans, Francesco S. Carzaniga, Johan A.K. Suykens, Jo\~ao Sacramento, Benjamin F. Grewe
• Abstract要約: 我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
• 参考スコア（独自算出の注目度）: 75.52598682467817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of deep learning, a brain-inspired form of AI, has sparked interest in understanding how the brain could similarly learn across multiple layers of neurons. However, the majority of biologically-plausible learning algorithms have not yet reached the performance of backpropagation (BP), nor are they built on strong theoretical foundations. Here, we analyze target propagation (TP), a popular but not yet fully understood alternative to BP, from the standpoint of mathematical optimization. Our theory shows that TP is closely related to Gauss-Newton optimization and thus substantially differs from BP. Furthermore, our analysis reveals a fundamental limitation of difference target propagation (DTP), a well-known variant of TP, in the realistic scenario of non-invertible neural networks. We provide a first solution to this problem through a novel reconstruction loss that improves feedback weight training, while simultaneously introducing architectural flexibility by allowing for direct feedback connections from the output to each hidden layer. Our theory is corroborated by experimental results that show significant improvements in performance and in the alignment of forward weight updates with loss gradients, compared to DTP.
• Abstract（参考訳）: 脳にインスパイアされたaiであるdeep learningの成功は、脳がニューロンの複数の層にまたがってどのように学習するかを理解することに興味をひいた。 しかし、生物学的に評価可能な学習アルゴリズムの大部分は、バックプロパゲーション(bp)の性能にはまだ達していない。 ここでは,BPの代替として広く普及しているが完全には理解されていないターゲット伝搬(TP)を,数学的最適化の観点から分析する。 本理論は,TPがガウスニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 さらに,本解析では,非可逆ニューラルネットワークの現実的なシナリオにおいて,tpの既知の変種である差分目標伝播(dtp)の基本的な限界を明らかにする。 提案手法では,各層への出力からの直接フィードバック接続を可能とし,設計上の柔軟性を両立させながら,フィードバックウェイトトレーニングを改善した新たな再構成損失による,この問題に対する第1の解決策を提供する。 我々の理論は,DTPと比較して,性能および前方重量更新と損失勾配の整合性に有意な改善が認められた実験結果によって裏付けられている。

関連論文リスト

• Architectural Strategies for the optimization of Physics-Informed Neural Networks [30.92757082348805]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)における前方および逆問題に対処するための有望な道を提供する その顕著な経験的成功にもかかわらず、PINNは様々なPDEで悪名高いトレーニング課題の評判を得た。
  論文  参考訳（メタデータ） (2024-02-05T04:15:31Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Learning with augmented target information: An alternative theory of Feedback Alignment [0.0]
  本稿では,フィードバックアライメント(FA)が情報理論のレンズを通してどのように機能するか,という新しい理論を提案する。 FAは、トレーニング対象のニューラルネットワークにターゲット情報を埋め込むことで、効果的な表現を学ぶ。 理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
  論文  参考訳（メタデータ） (2023-04-03T22:44:03Z)
• A Theoretical Framework for Inference and Learning in Predictive Coding Networks [41.58529335439799]
  予測符号化(PC)は、計算神経科学において重要な理論である。 予測構成で訓練されたPCNの特性に関する包括的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-07-21T04:17:55Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
  バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている 最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。 本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
  論文  参考訳（メタデータ） (2021-12-21T07:18:00Z)
• Target Propagation via Regularized Inversion [4.289574109162585]
  本稿では,ネットワークレイヤの正規化インバージョンに基づくターゲット伝搬の簡易バージョンを提案する。 我々のTPは、様々なシーケンスモデリング問題において、長いシーケンスでリカレントニューラルネットワークのトレーニングにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:49:25Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。