論文の概要: Supervised Hebbian learning in Deep Counterstream Associative Networks
- arxiv url: http://arxiv.org/abs/2606.29528v1
- Date: Sun, 28 Jun 2026 17:44:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.950621
- Title: Supervised Hebbian learning in Deep Counterstream Associative Networks
- Title（参考訳）: ディープカウンタストリーム連想ネットワークにおけるヘビアン学習の促進
- Abstract要約: 現代の機械学習アプリケーションは、エラーバックプロパゲーションアルゴリズムを用いたディープニューラルネットワークトレーニングを採用している。
このアルゴリズムは非常に効果的であるが、生物学的リアリズムに欠ける。
ディープ・アソシエイト・ネットワークにおける教師付き対流学習を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern machine learning applications employ deep neural networks training with the error backpropagation algorithm. Although this algorithm is very effective, it lacks biological realism. For example, backpropagation requires symmetric connectivity, and a separate neural processing channel for error signals. Prior works have therefore proposed a number of more realistic alternatives for error backpropagation. However, most of them still suffer from demanding preassumptions that may be not fulfilled in the real brain, for example, they often still require either symmetric connectivity or two separate processing channels, and often require also special mathematical operations like subtractions or function inversions. Here I propose supervised counterstream learning in deep associative networks as a simpler approach that requires only recognition of errors during training, and then backpropagates correcting target activity through the same activity channel as used for forward propagation. For this, two activity waves are initiated at the same time in input and output layers and then traveling in opposite directions to meet in one of the hidden layers. By employing simple local Hebbian-type learning rules, the corresponding activity pattern sequences get linked bidirectionally, thereby decreasing error rates over time. Despite its simplicity and an incomplete hyperparameter optimzation, a high high test accuracy is achieved on the (binarized) MNIST data set that is comparable to more demanding architectures.
- Abstract（参考訳）: 現代の機械学習アプリケーションは、エラーバックプロパゲーションアルゴリズムを用いたディープニューラルネットワークトレーニングを採用している。
このアルゴリズムは非常に効果的であるが、生物学的リアリズムに欠ける。
例えば、バックプロパゲーションには対称接続とエラー信号のための別個のニューラル処理チャネルが必要である。
先行研究は、エラーのバックプロパゲーションのためのより現実的な代替案を多数提案している。
しかし、それらの多くは、実際の脳で満たされないような前提条件を要求されることに苦慮しており、例えば、対称接続または2つの別々の処理チャネルを必要とすることが多く、しばしば減算や関数反転のような特別な数学的操作も必要である。
本稿では, 深層連想ネットワークにおける教師付き対流学習を, トレーニング中のエラー認識のみを必要とするシンプルなアプローチとして提案する。
このため、2つの活動波が入力層と出力層で同時に開始され、次に反対方向に移動して隠れた1つの層で交わる。
単純なローカルなヘビアン型学習規則を用いることで、対応するアクティビティパターンシーケンスは双方向にリンクされ、時間とともにエラー率を減少させる。
その単純さと不完全なハイパーパラメータ最適化にもかかわらず、より要求の高いアーキテクチャに匹敵する(バイナリ化された)MNISTデータセット上で高いテスト精度が達成される。
関連論文リスト
- Self-supervised local learning rules learn the hidden hierarchical structure of high-dimensional data [6.184770966699031]
ニューラルネットワークが高次元データの固有階層構造をどのように学習するかを考察する。
長い収束時間と対称誤差ネットワークの使用の両方を避けるための2種類の局所学習ルールに着目した。
論文 参考訳（メタデータ） (2026-05-18T15:37:28Z) - BEP: A Binary Error Propagation Algorithm for Binary Neural Networks Training [21.908847701590428]
バイナリニューラルネットワーク(BNN)は、計算複雑性、メモリフットプリント、エネルギー消費を大幅に削減する。
しかしながら、勾配に基づく最適化によるBNNのトレーニングは、変数の離散的な性質のため、依然として困難である。
本稿では、バックプロパゲーション・チェーン・ルールの原則化された離散的アナログを確立するための最初の学習アルゴリズムであるBEP(Binary Error Propagation)を提案する。
論文 参考訳（メタデータ） (2025-12-03T19:03:55Z) - Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-27T16:30:27Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳（メタデータ） (2021-09-30T12:56:57Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳（メタデータ） (2020-10-20T18:55:32Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。