論文の概要: Learning with augmented target information: An alternative theory of
Feedback Alignment
- arxiv url: http://arxiv.org/abs/2304.01406v1
- Date: Mon, 3 Apr 2023 22:44:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 16:08:47.750467
- Title: Learning with augmented target information: An alternative theory of
Feedback Alignment
- Title(参考訳): 目標情報の拡張による学習:フィードバックアライメントの代替理論
- Authors: Huzi Cheng, Joshua W. Brown
- Abstract要約: 本稿では,フィードバックアライメント(FA)が情報理論のレンズを通してどのように機能するか,という新しい理論を提案する。
FAは、トレーニング対象のニューラルネットワークにターゲット情報を埋め込むことで、効果的な表現を学ぶ。
理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While error backpropagation (BP) has dominated the training of nearly all
modern neural networks for a long time, it suffers from several biological
plausibility issues such as the symmetric weight requirement and synchronous
updates. Feedback Alignment (FA) was proposed as an alternative to BP to
address those dilemmas and has been demonstrated to be effective on various
tasks and network architectures. Despite its simplicity and effectiveness, a
satisfying explanation of how FA works across different architectures is still
lacking. Here we propose a novel, architecture-agnostic theory of how FA works
through the lens of information theory: Instead of approximating gradients
calculated by BP with the same parameter, FA learns effective representations
by embedding target information into neural networks to be trained. We show
this through the analysis of FA dynamics in idealized settings and then via a
series of experiments. Based on the implications of this theory, we designed
three variants of FA and show their comparable performance on several tasks.
These variants also account for some phenomena and theories in neuroscience
such as predictive coding and representational drift.
- Abstract(参考訳): エラーバックプロパゲーション(bp)は、ほぼ全ての現代のニューラルネットワークのトレーニングを長い間支配してきたが、対称ウェイト要件や同期更新など、いくつかの生物学的な可能性の問題に悩まされている。
フィードバックアライメント(FA)はBPの代替として提案され、様々なタスクやネットワークアーキテクチャに有効であることが示されている。
その単純さと有効性にもかかわらず、さまざまなアーキテクチャでFAがどのように機能するかという満足のいく説明はまだ欠けている。
本稿では、FAが情報理論のレンズを通してどのように機能するかという新しいアーキテクチャに依存しない理論を提案する: BPが計算した勾配を同じパラメータで近似する代わりに、FAはトレーニング対象情報をニューラルネットワークに埋め込むことで効果的な表現を学習する。
理想的な設定におけるFAダイナミクスの分析と、一連の実験を通してこれを示す。
この理論の意義に基づき、我々は3種類のFAを設計し、複数のタスクで同等の性能を示す。
これらの変種は、予測符号化や表現の漂流のような神経科学のいくつかの現象や理論も説明できる。
関連論文リスト
- Neural Networks Decoded: Targeted and Robust Analysis of Neural Network Decisions via Causal Explanations and Reasoning [9.947555560412397]
本稿では、因果推論理論に基づく新しい手法TRACERを紹介し、DNN決定の根底にある因果ダイナミクスを推定する。
提案手法は入力特徴に系統的に介入し,特定の変化がネットワークを介してどのように伝播するかを観察し,内部の活性化と最終的な出力に影響を与える。
TRACERはさらに、モデルバイアスの可能性のある反ファクトを生成することで説明可能性を高め、誤分類に対する対照的な説明を提供する。
論文 参考訳(メタデータ) (2024-10-07T20:44:53Z) - Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。
本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
論文 参考訳(メタデータ) (2024-05-27T05:06:24Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。
PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。
提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-27T14:39:41Z) - Deep neural networks architectures from the perspective of manifold
learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。
我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文 参考訳(メタデータ) (2023-06-06T04:57:39Z) - Improving Parametric Neural Networks for High-Energy Physics (and
Beyond) [0.0]
本研究の目的は,現実世界の使用状況に照らして,パラメトリックニューラルネットワーク(pNN)ネットワークの理解を深めることである。
本稿では,新しいパラメータ化ニューラルネットワークアーキテクチャであるAffinePNNを提案する。
我々は、その不均衡バージョン(HEPMASS-IMB)に沿って、HEPMASSデータセット上で、我々のモデルを広範囲に評価する。
論文 参考訳(メタデータ) (2022-02-01T14:18:43Z) - Towards Scaling Difference Target Propagation by Learning Backprop
Targets [64.90165892557776]
Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。
本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。
CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
論文 参考訳(メタデータ) (2022-01-31T18:20:43Z) - A Theoretical View of Linear Backpropagation and Its Convergence [55.69505060636719]
バックプロパゲーション(BP)はディープニューラルネットワーク(DNN)の勾配を計算するために広く用いられている
最近では、NinBPと呼ばれるBPの線形変種が導入され、ブラックボックス攻撃を行うためのより伝達可能な逆の例が生み出された。
本稿では,LinBPのニューラルネットワーク関連学習課題における理論的解析について述べる。
論文 参考訳(メタデータ) (2021-12-21T07:18:00Z) - Align, then memorise: the dynamics of learning with feedback alignment [12.587037358391418]
直接フィードバックアライメント(DFA)は、ディープニューラルネットワークのトレーニングのためのユビキタスバックプロパゲーションアルゴリズムの効率的な代替手段である。
DFAはTransformersのような最先端モデルのトレーニングに成功したが、畳み込みネットワークのトレーニングには失敗している。
本稿では,DFAの成功に関する理論を提案する。
論文 参考訳(メタデータ) (2020-11-24T22:21:27Z) - A Theoretical Framework for Target Propagation [75.52598682467817]
我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。
提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。
我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
論文 参考訳(メタデータ) (2020-06-25T12:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。