論文の概要: Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation

• arxiv url: http://arxiv.org/abs/2308.12053v2
• Date: Wed, 05 Feb 2025 20:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:06.180681
• Title: Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation
• Title（参考訳）: レイヤワイズフィードバック伝搬による高能率・柔軟ニューラルネットワークトレーニング
• Authors: Leander Weber, Jim Berend, Moritz Weckbecker, Alexander Binder, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin,
• Abstract要約: ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
• 参考スコア（独自算出の注目度）: 49.44309457870649
• License:
• Abstract: Gradient-based optimization has been a cornerstone of machine learning enabling the vast advances of AI development over the past decades. However, since this type of optimization requires differentiation, it reduces flexibility in the choice of model and objective. With recent evidence of the benefits of non-differentiable (e.g. neuromorphic) architectures over classical models, such constraints can become limiting in the future. We present Layer-wise Feedback Propagation (LFP), a novel training principle for neural network-like predictors utilizing methods from the domain of explainability to decompose a reward to individual neurons based on their respective contributions to solving a given task without imposing any differentiability requirements. Leveraging these neuron-wise rewards, our method then implements a greedy approach reinforcing helpful parts of the network and weakening harmful ones. While having comparable computational complexity to gradient descent, LFP offers the advantage that it obtains sparse models due to an implicit weight scaling. We establish the convergence of LFP theoretically and empirically, demonstrating its effectiveness on various models and datasets. We further investigate two applications for LFP: Firstly, neural network pruning, and secondly, the optimization of neuromorphic architectures such as Heaviside step function activated Spiking Neural Networks (SNNs). In the first setting, LFP naturally generates sparse models that are easily prunable and thus efficiently encode and compute information. In the second setting, LFP achieves comparable performance to surrogate gradient descent, but provides approximation-free training, which eases the implementation on neuromorphic hardware. Consequently, LFP combines efficiency in terms of computation and representation with flexibility w.r.t. model architecture and objective function. Our code is available.
• Abstract（参考訳）: グラディエントベースの最適化は、過去数十年にわたるAI開発の大きな進歩を可能にする機械学習の基盤となった。 しかし、この種の最適化は微分を必要とするため、モデルと目的の選択における柔軟性を低下させる。 古典的モデルに対する非微分可能(例えばニューロモルフィック)アーキテクチャの利点の最近の証拠により、そのような制約は将来的に制限される可能性がある。 本稿では、ニューラルネットワークのような予測器の新たなトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 神経学的報酬を活用すれば、ネットワークの有用な部分を強化し、有害な部分を弱めるという欲求的なアプローチが実現される。 勾配降下に匹敵する計算複雑性を持つが、LFPは暗黙の重みスケーリングのためにスパースモデルを得るという利点がある。 我々は,LFPの理論的かつ実証的な収束を確立し,その効果を様々なモデルやデータセット上で実証する。 LFPの2つの応用について検討する: 第一に、ニューラルネットワークのプルーニング、第二に、ヘビサイドステップ関数活性化スパイキングニューラルネットワーク(SNN)のようなニューロモルフィックアーキテクチャの最適化。 最初の設定では、LFPは自然に分離可能なスパースモデルを生成し、それによって効率的に情報をエンコードし、計算する。 2つ目の設定では、LFPは勾配勾配降下に匹敵する性能を達成するが、近似のないトレーニングを提供し、ニューロモルフィックハードウェアの実装を容易にする。 その結果、LFPは計算と表現の効率性と柔軟性のw.r.t.モデルアーキテクチャと客観的関数を組み合わせている。 私たちのコードは利用可能です。

関連論文リスト

• On Divergence Measures for Training GFlowNets [3.7277730514654555]
  生成フローネットワーク(Generative Flow Networks, GFlowNets)は、構成可能なオブジェクト上の非正規分布のサンプルとして設計された、償却推論モデルである。 伝統的に、GFlowNetsのトレーニング手順は、提案(フォワードポリシー)とターゲット(バックポリシー)の分布の対数二乗差を最小限にすることを目指している。 我々は、Renyi-$alpha$'s, Tsallis-$alpha$'s, reverse and forward KL'sという4つの分岐測度を概観し、GFlowNetsの学習文脈における勾配に対する統計的に効率的な推定器を設計する。
  論文  参考訳（メタデータ） (2024-10-12T03:46:52Z)
• Learning Point Spread Function Invertibility Assessment for Image Deconvolution [14.062542012968313]
  ニューラルネットワークを用いて任意のPSFの可逆性を学習するために非線形アプローチを用いるメトリクスを提案する。 マッピングされたPSFとユニットインパルスとの差は、DLネットワークによるインバージョンの成功率が高いことを示している。
  論文  参考訳（メタデータ） (2024-05-25T20:00:27Z)
• Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
  この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。 ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-21T05:22:39Z)
• Regression as Classification: Influence of Task Formulation on Neural Network Features [16.239708754973865]
  ニューラルネットワークは、勾配に基づく手法を用いて2乗損失を最小限に抑えることにより、回帰問題を解決するために訓練することができる。 実践者は、しばしば回帰を分類問題として再編成し、クロスエントロピー損失のトレーニングがより良いパフォーマンスをもたらすことを観察する。 2層ReLUネットワークに着目して、勾配に基づく最適化によって引き起こされる暗黙のバイアスが、この現象を部分的に説明できるかを検討する。
  論文  参考訳（メタデータ） (2022-11-10T15:13:23Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Random Fourier Feature Based Deep Learning for Wireless Communications [18.534006003020828]
  本稿では,RFFに基づく深層学習の有効性を解析的に定量化する。 新しい分散依存RFFが提案され、トレーニングの複雑さの低いDLアーキテクチャが促進される。 提案したすべてのシミュレーションにおいて,提案した分布依存型RFFはRFFよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-01-13T18:39:36Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。