論文の概要: Weight transport through spike timing for robust local gradients

• arxiv url: http://arxiv.org/abs/2503.02642v1
• Date: Tue, 04 Mar 2025 14:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:25:31.592916
• Title: Weight transport through spike timing for robust local gradients
• Title（参考訳）: 強靭な局所勾配に対するスパイクタイミングによる重量輸送
• Authors: Timo Gierlich, Andreas Baumbach, Akos F. Kungl, Kevin Max, Mihai A. Petrovici,
• Abstract要約: 機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
• 参考スコア（独自算出の注目度）: 0.5236468296934584
• License:
• Abstract: In both machine learning and in computational neuroscience, plasticity in functional neural networks is frequently expressed as gradient descent on a cost. Often, this imposes symmetry constraints that are difficult to reconcile with local computation, as is required for biological networks or neuromorphic hardware. For example, wake-sleep learning in networks characterized by Boltzmann distributions builds on the assumption of symmetric connectivity. Similarly, the error backpropagation algorithm is notoriously plagued by the weight transport problem between the representation and the error stream. Existing solutions such as feedback alignment tend to circumvent the problem by deferring to the robustness of these algorithms to weight asymmetry. However, they are known to scale poorly with network size and depth. We introduce spike-based alignment learning (SAL), a complementary learning rule for spiking neural networks, which uses spike timing statistics to extract and correct the asymmetry between effective reciprocal connections. Apart from being spike-based and fully local, our proposed mechanism takes advantage of noise. Based on an interplay between Hebbian and anti-Hebbian plasticity, synapses can thereby recover the true local gradient. This also alleviates discrepancies that arise from neuron and synapse variability -- an omnipresent property of physical neuronal networks. We demonstrate the efficacy of our mechanism using different spiking network models. First, we show how SAL can significantly improve convergence to the target distribution in probabilistic spiking networks as compared to Hebbian plasticity alone. Second, in neuronal hierarchies based on cortical microcircuits, we show how our proposed mechanism effectively enables the alignment of feedback weights to the forward pathway, thus allowing the backpropagation of correct feedback errors.
• Abstract（参考訳）: 機械学習と計算神経科学の両方において、関数型ニューラルネットワークの塑性はコストの勾配降下としてしばしば表される。 これはしばしば、生物学的ネットワークやニューロモルフィックハードウェアで必要とされるように、局所的な計算との整合が難しい対称性の制約を課す。 例えば、ボルツマン分布を特徴とするネットワークにおけるウェイクスリープ学習は、対称接続性の仮定に基づいている。 同様に、エラーバックプロパゲーションアルゴリズムは、表現とエラーストリームの間の重み移動問題に悩まされている。 フィードバックアライメントのような既存のソリューションは、これらのアルゴリズムの頑健さを非対称性の重みにあてはめることによって、この問題を回避する傾向にある。 しかし、ネットワークサイズと深さではスケールが良くないことが知られている。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正する、スパイクベースアライメント学習(SAL)を提案する。 スパイクベースであり、完全に局所的であることとは別に、提案手法はノイズを利用する。 ヘビアンと反ヘビアン可塑性の相互作用に基づき、シナプスは真の局所勾配を回復することができる。 これはまた、物理的神経ネットワークの全ての性質であるニューロンとシナプスの変動から生じる相違を緩和する。 異なるスパイキングネットワークモデルを用いて,本機構の有効性を実証する。 まず, 確率的スパイクネットワークにおける目標分布への収束性は, ヘビアン可塑性のみと比較して有意に向上することを示す。 第2に,大脳皮質小回路に基づく神経階層において,提案機構がフィードバック重みの前方経路へのアライメントを効果的に実現し,正しいフィードバック誤りのバックプロパゲーションを可能にすることを示す。

関連論文リスト

• Dissecting a Small Artificial Neural Network [0.0]
  論理排他論理(XOR)ゲートを表す最も単純な人工ニューラルネットワークの損失景観と収束のバックプロパゲーションダイナミクスについて検討する。 9次元パラメータ空間におけるロスランドスケープの断面は異なる特徴を示しており、なぜバックプロパゲーションがゼロロスへの収束を達成できるのかを理解するのに役立つ。
  論文  参考訳（メタデータ） (2025-01-03T21:14:46Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Improving equilibrium propagation without weight symmetry through Jacobian homeostasis [7.573586022424398]
  平衡伝播(EP)は誤りアルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である EPは、非バイアス勾配を効率的に推定するために、重量対称性と無限小平衡摂動(nudges)を必要とする。 有限ヌッジはコーシー積分を通しても正確な微分を推定できるので、問題が生じないことが示される。 ネットワークの固定点におけるジャコビアンの関数的非対称性を直接緩和する新たなホメオスタティックな目的を提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:20:43Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• An error-propagation spiking neural network compatible with neuromorphic processors [2.432141667343098]
  本稿では,局所的な重み更新機構を用いたバックプロパゲーションを近似したスパイクに基づく学習手法を提案する。 本稿では,重み更新機構による誤り信号のバックプロパゲートを可能にするネットワークアーキテクチャを提案する。 この研究は、超低消費電力混合信号ニューロモルフィック処理系の設計に向けた第一歩である。
  論文  参考訳（メタデータ） (2021-04-12T07:21:08Z)
• EqSpike: Spike-driven Equilibrium Propagation for Neuromorphic Implementations [9.952561670370804]
  我々は、ニューロモルフィックシステムと互換性のあるEqSpikeと呼ばれるスパイクニューラルネットワークアルゴリズムを開発した。 シリコンニューロモルフィック技術に実装されたEqSpikeは,それぞれ推論とトレーニングのエネルギー消費を削減できることを示した。
  論文  参考訳（メタデータ） (2020-10-15T16:25:29Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。