論文の概要: Learning with augmented target information: An alternative theory of
Feedback Alignment
- arxiv url: http://arxiv.org/abs/2304.01406v1
- Date: Mon, 3 Apr 2023 22:44:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 16:08:47.750467
- Title: Learning with augmented target information: An alternative theory of
Feedback Alignment
- Title(参考訳): 目標情報の拡張による学習:フィードバックアライメントの代替理論
- Authors: Huzi Cheng, Joshua W. Brown
- Abstract要約: 本稿では,フィードバックアライメント(FA)が情報理論のレンズを通してどのように機能するか,という新しい理論を提案する。
FAは、トレーニング対象のニューラルネットワークにターゲット情報を埋め込むことで、効果的な表現を学ぶ。
理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While error backpropagation (BP) has dominated the training of nearly all
modern neural networks for a long time, it suffers from several biological
plausibility issues such as the symmetric weight requirement and synchronous
updates. Feedback Alignment (FA) was proposed as an alternative to BP to
address those dilemmas and has been demonstrated to be effective on various
tasks and network architectures. Despite its simplicity and effectiveness, a
satisfying explanation of how FA works across different architectures is still
lacking. Here we propose a novel, architecture-agnostic theory of how FA works
through the lens of information theory: Instead of approximating gradients
calculated by BP with the same parameter, FA learns effective representations
by embedding target information into neural networks to be trained. We show
this through the analysis of FA dynamics in idealized settings and then via a
series of experiments. Based on the implications of this theory, we designed
three variants of FA and show their comparable performance on several tasks.
These variants also account for some phenomena and theories in neuroscience
such as predictive coding and representational drift.
- Abstract(参考訳): エラーバックプロパゲーション(bp)は、ほぼ全ての現代のニューラルネットワークのトレーニングを長い間支配してきたが、対称ウェイト要件や同期更新など、いくつかの生物学的な可能性の問題に悩まされている。
フィードバックアライメント(FA)はBPの代替として提案され、様々なタスクやネットワークアーキテクチャに有効であることが示されている。
その単純さと有効性にもかかわらず、さまざまなアーキテクチャでFAがどのように機能するかという満足のいく説明はまだ欠けている。
本稿では、FAが情報理論のレンズを通してどのように機能するかという新しいアーキテクチャに依存しない理論を提案する: BPが計算した勾配を同じパラメータで近似する代わりに、FAはトレーニング対象情報をニューラルネットワークに埋め込むことで効果的な表現を学習する。
理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
この理論の意義に基づき、我々は3種類のFAを設計し、複数のタスクで同等の性能を示す。
これらの変種は、予測符号化や表現の漂流のような神経科学のいくつかの現象や理論も説明できる。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-27T14:39:41Z) - Deep neural networks architectures from the perspective of manifold
learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。
我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文 参考訳(メタデータ) (2023-06-06T04:57:39Z) - Layer-Wise Feedback Alignment is Conserved in Deep Neural Networks [14.87136964827431]
本稿では,フィードバックアライメントの学習力学を規定する保全法則の集合を明らかにする。
分析の結果, FAにはグラディエント・ダイスン(Gradient Descent)と類似した暗黙の偏見があることが判明した。
本研究の意義は,バックプロパゲーションよりも効率的で生物学的に妥当な代替手段の開発に寄与する。
論文 参考訳(メタデータ) (2023-06-02T18:57:24Z) - Improving Parametric Neural Networks for High-Energy Physics (and
Beyond) [0.0]
本研究の目的は,現実世界の使用状況に照らして,パラメトリックニューラルネットワーク(pNN)ネットワークの理解を深めることである。
本稿では,新しいパラメータ化ニューラルネットワークアーキテクチャであるAffinePNNを提案する。
我々は、その不均衡バージョン(HEPMASS-IMB)に沿って、HEPMASSデータセット上で、我々のモデルを広範囲に評価する。
論文 参考訳(メタデータ) (2022-02-01T14:18:43Z) - Towards Scaling Difference Target Propagation by Learning Backprop
Targets [64.90165892557776]
Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。
本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。
CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
論文 参考訳(メタデータ) (2022-01-31T18:20:43Z) - A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている
最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。
本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
論文 参考訳(メタデータ) (2021-12-21T07:18:00Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳(メタデータ) (2021-06-15T05:30:17Z) - Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。
DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。
本稿では,DFAの成功に関する理論を提案する。
論文 参考訳(メタデータ) (2020-11-24T22:21:27Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳(メタデータ) (2020-06-25T12:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。