論文の概要: Constrained Parameter Inference as a Principle for Learning
- arxiv url: http://arxiv.org/abs/2203.13203v1
- Date: Tue, 22 Mar 2022 13:40:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 15:50:16.044250
- Title: Constrained Parameter Inference as a Principle for Learning
- Title（参考訳）: 学習原理としての制約付きパラメータ推論
- Authors: Nasir Ahmad, Ellen Schrader, Marcel van Gerven
- Abstract要約: 本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。
COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。
我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
- 参考スコア（独自算出の注目度）: 5.080518039966762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning in biological and artificial neural networks is often framed as a
problem in which targeted error signals guide parameter updating for more
optimal network behaviour. Backpropagation of error (BP) is an example of such
an approach and has proven to be a highly successful application of stochastic
gradient descent to deep neural networks. However, BP relies on the global
transmission of gradient information and has therefore been criticised for its
biological implausibility. We propose constrained parameter inference (COPI) as
a new principle for learning. COPI allows for the estimation of network
parameters under the constraints of decorrelated neural inputs and top-down
perturbations of neural states. We show that COPI not only is more biologically
plausible but also provides distinct advantages for fast learning, compared
with standard backpropagation of error.
- Abstract（参考訳）: 生体および人工ニューラルネットワークでの学習は、標的エラー信号がより最適なネットワーク動作のためにパラメータ更新を導く問題としてしばしば考えられている。
誤りのバックプロパゲーション(BP)はそのようなアプローチの例であり、ディープニューラルネットワークへの確率勾配降下の高度に成功した応用であることが証明されている。
しかし、BPは勾配情報のグローバルな伝達に依存しており、その生物学的不確実性について批判されている。
制約パラメータ推論(COPI)を学習の新たな原則として提案する。
copiは、decorrelated neural inputとtop-down perturbation of neural stateの制約下でのネットワークパラメータの推定を可能にする。
copiは生物学的に妥当なだけでなく、エラーの標準的なバックプロパゲーションと比べて、高速な学習に特有の利点がある。
関連論文リスト
- Error Bounds of Supervised Classification from Information-Theoretic Perspective [5.281849820329249]
誤差は, 分布の滑らかさとサンプルサイズの影響を受け, 予測されるリスクの上限となる。
実験による検証により, 導出理論境界と実用的予測リスクとの間に有意な正の相関が認められた。
論文 参考訳（メタデータ） (2024-06-07T01:07:35Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。
このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。
提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
論文 参考訳（メタデータ） (2023-06-07T22:14:33Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Learning to Precode for Integrated Sensing and Communications Systems [11.689567114100514]
我々はISACシステムのための送信プリコーダを設計するための教師なし学習ニューラルモデルを提案する。
提案手法は,チャネル推定誤差が存在する場合,従来の最適化手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-11T11:24:18Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳（メタデータ） (2021-04-01T13:03:48Z) - Training Sparse Neural Network by Constraining Synaptic Weight on Unit
Lp Sphere [2.429910016019183]
単位 Lp-球面上のシナプス重みを制約することにより、p で空間を柔軟に制御することができる。
このアプローチは、幅広いドメインをカバーするベンチマークデータセットの実験によって検証されます。
論文 参考訳（メタデータ） (2021-03-30T01:02:31Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - A simple normative network approximates local non-Hebbian learning in
the cortex [12.940770779756482]
神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。
ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。
オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
論文 参考訳（メタデータ） (2020-10-23T20:49:44Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳（メタデータ） (2020-10-02T15:21:37Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。