論文の概要: Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning

• arxiv url: http://arxiv.org/abs/2510.14810v1
• Date: Thu, 16 Oct 2025 15:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.926349
• Title: Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning
• Title（参考訳）: ヘビアン原理の再考:教師なし学習のための低次元構造投影
• Authors: Shikuang Deng, Jiayuan Zhang, Yuhang Wu, Ting Chen, Shi Gu,
• Abstract要約: ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。 本稿では,新しい教師なし学習手法である構造投影ヘビアン表現(SPHeRe)を紹介する。 実験結果から,SPHeReは教師なしシナプス可塑性アプローチにおいてSOTA性能を実現することが示された。
• 参考スコア（独自算出の注目度）: 17.299267108673277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hebbian learning is a biological principle that intuitively describes how neurons adapt their connections through repeated stimuli. However, when applied to machine learning, it suffers serious issues due to the unconstrained updates of the connections and the lack of accounting for feedback mediation. Such shortcomings limit its effective scaling to complex network architectures and tasks. To this end, here we introduce the Structural Projection Hebbian Representation (SPHeRe), a novel unsupervised learning method that integrates orthogonality and structural information preservation through a local auxiliary nonlinear block. The loss for structural information preservation backpropagates to the input through an auxiliary lightweight projection that conceptually serves as feedback mediation while the orthogonality constraints account for the boundedness of updating magnitude. Extensive experimental results show that SPHeRe achieves SOTA performance among unsupervised synaptic plasticity approaches on standard image classification benchmarks, including CIFAR-10, CIFAR-100, and Tiny-ImageNet. Furthermore, the method exhibits strong effectiveness in continual learning and transfer learning scenarios, and image reconstruction tasks show the robustness and generalizability of the extracted features. This work demonstrates the competitiveness and potential of Hebbian unsupervised learning rules within modern deep learning frameworks, demonstrating the possibility of efficient and biologically inspired learning algorithms without the strong dependence on strict backpropagation. Our code is available at https://github.com/brain-intelligence-lab/SPHeRe.
• Abstract（参考訳）: ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。 しかし、機械学習に適用する場合、コネクションの制限のない更新や、フィードバックの仲介のための説明の欠如によって深刻な問題に悩まされる。 このような欠点は、その効果的なスケーリングを複雑なネットワークアーキテクチャとタスクに制限する。 そこで本研究では,局所的な補助的非線形ブロックを通した直交性と構造情報保存を統合した非教師なし学習手法である,構造投影ヘビアン表現(SPHeRe)を紹介する。 構造情報保存の損失は、フィードバックメディエーションとして概念的に機能する補助的な軽量プロジェクションを通じて入力に逆伝搬し、直交性制約は更新の限界度を考慮に入れている。 CIFAR-10, CIFAR-100, Tiny-ImageNetなどの標準画像分類ベンチマークにおいて, SPHeReは, 教師なしシナプス可塑性アプローチのSOTA性能を実現している。 さらに,この手法は連続学習と移動学習のシナリオにおいて強い効果を示し,画像再構成タスクは抽出した特徴の堅牢性と一般化性を示す。 この研究は、現代のディープラーニングフレームワークにおけるヘビーンの教師なし学習規則の競争力と可能性を示し、厳格なバックプロパゲーションに強く依存することなく、効率的で生物学的にインスパイアされた学習アルゴリズムの可能性を示す。 私たちのコードはhttps://github.com/brain-intelligence-lab/SPHeReで利用可能です。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning [0.0]
  生物学的原理にインスパイアされたビジョンネットワークを導入する。 ネットワークは、過去の固定のシーケンスに基づいて、次の画像パッチ(固定)の表現を予測することによって学習する。 また,生物学的に非現実的な逆伝播を回避する学習アルゴリズムであるemphRecurrent-Forwardも導入した。
  論文  参考訳（メタデータ） (2024-11-10T01:40:42Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Unsupervised Spatial-Temporal Feature Enrichment and Fidelity Preservation Network for Skeleton based Action Recognition [20.07820929037547]
  非教師なし骨格に基づく行動認識は近年顕著な進歩を遂げている。 既存の教師なし学習手法は、過度なオーバーフィッティング問題に悩まされる。 本稿では,高機能化を実現するために,非教師付き時空間特徴強調・忠実度保存フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T09:24:07Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• A Robust Backpropagation-Free Framework for Images [47.97322346441165]
  画像データに対するエラーカーネル駆動型アクティベーションアライメントアルゴリズムを提案する。 EKDAAは、ローカルに派生したエラー送信カーネルとエラーマップを導入することで達成される。 結果は、識別不能なアクティベーション機能を利用するEKDAAトレーニングCNNに対して提示される。
  論文  参考訳（メタデータ） (2022-06-03T21:14:10Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
  生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。 学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
  論文  参考訳（メタデータ） (2022-04-08T21:12:13Z)
• Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures [22.438735897480417]
  本稿では,ニューラルビュー合成,レコメンダシステム,幾何学学習,自然言語処理へのダイレクトフィードバックアライメントの適用性について検討する。 以上の結果から,最先端のディープラーニングアーキテクチャの訓練に成功し,その性能は微調整されたバックプロパゲーションに近いことがわかった。
  論文  参考訳（メタデータ） (2020-06-23T10:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。