論文の概要: Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons

• arxiv url: http://arxiv.org/abs/2302.01228v3
• Date: Wed, 7 Jun 2023 08:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 19:23:32.780729
• Title: Dual Propagation: Accelerating Contrastive Hebbian Learning with Dyadic Neurons
• Title（参考訳）: Dual Propagation:Dydic Neuronsによるコントラスト学習の促進
• Authors: Rasmus H{\o}ier, D. Staudt, Christopher Zach
• Abstract要約: 本稿では,2つの内在状態を持つダイアドを各ニューロンが有する2重伝搬という,単純なエネルギーベース複合ニューロンモデルを提案する。 この手法の利点は、1つの推論フェーズしか必要とせず、レイヤーワイド閉形式で推論を解くことができることである。 実験では、Imagenet32x32を含む一般的なコンピュータビジョンデータセットにおいて、二重伝搬がバックプロパゲーションと等価であることを示す。
• 参考スコア（独自算出の注目度）: 15.147172044848798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activity difference based learning algorithms-such as contrastive Hebbian learning and equilibrium propagation-have been proposed as biologically plausible alternatives to error back-propagation. However, on traditional digital chips these algorithms suffer from having to solve a costly inference problem twice, making these approaches more than two orders of magnitude slower than back-propagation. In the analog realm equilibrium propagation may be promising for fast and energy efficient learning, but states still need to be inferred and stored twice. Inspired by lifted neural networks and compartmental neuron models we propose a simple energy based compartmental neuron model, termed dual propagation, in which each neuron is a dyad with two intrinsic states. At inference time these intrinsic states encode the error/activity duality through their difference and their mean respectively. The advantage of this method is that only a single inference phase is needed and that inference can be solved in layerwise closed-form. Experimentally we show on common computer vision datasets, including Imagenet32x32, that dual propagation performs equivalently to back-propagation both in terms of accuracy and runtime.
• Abstract（参考訳）: 活性差に基づく学習アルゴリズム、例えば対照的なヘビアン学習や平衡伝播は、生物学的に妥当な代替手段として提案されている。 しかし、従来のデジタルチップでは、これらのアルゴリズムはコストのかかる推論問題を2回解決しなければならないため、バックプロパゲーションよりも2桁以上遅い。 アナログ領域の平衡伝播は高速かつエネルギー効率のよい学習に期待できるが、状態は2回推論され保存される必要がある。 ニューラルネットワークと区画ニューロンモデルに着想を得て,2つの内在的状態を持つダイナドである2重伝播と呼ばれる,単純なエネルギーベースの区画ニューロンモデルを提案する。 推論時、これらの固有状態は、それぞれの差と平均を通じてエラー/アクティビティの双対性を符号化する。 この方法の利点は、単一の推論フェーズのみが必要であり、推論は階層的に閉じた形式で解くことができることである。 実験により、Imagenet32x32を含む一般的なコンピュータビジョンデータセットにおいて、二重伝搬は、精度と実行時間の両方でバックプロパゲーションと等価であることを示す。

関連論文リスト

• Resistive Memory-based Neural Differential Equation Solver for Score-based Diffusion Model [55.116403765330084]
  スコアベースの拡散のような現在のAIGC法は、迅速性と効率性の点で依然として不足している。 スコアベース拡散のための時間連続型およびアナログ型インメモリ型ニューラル微分方程式解法を提案する。 我々は180nmの抵抗型メモリインメモリ・コンピューティング・マクロを用いて,我々の解を実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-08T16:34:35Z)
• Two Tales of Single-Phase Contrastive Hebbian Learning [9.84489449520821]
  完全局所学習アルゴリズムである「二重伝搬」は,性能ギャップをバックプロパゲーションに埋めることが可能であることを示す。 このアルゴリズムは、その数値安定性が、生物学的およびアナログ的な実装において制限的な対称ヌーディングに依存しているという欠点がある。
  論文  参考訳（メタデータ） (2024-02-13T16:21:18Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Formation of cell assemblies with iterative winners-take-all computation and excitation-inhibition balance [0.0]
  我々はkWTAの計算容易性を共有し、より柔軟でリッチなダイナミクスを持つ中間モデルを提案する。 ヘビアン的な学習規則を考察し,複数の安定化機構を持つ二分重の学習規則を提案する。
  論文  参考訳（メタデータ） (2021-08-02T08:20:01Z)
• BiSNN: Training Spiking Neural Networks with Binary Weights via Bayesian Learning [37.376989855065545]
  Spiking Neural Networks(SNN)は、エネルギー効率を高める生物学的にインスパイアされたダイナミックなイベント駆動モデルです。 時間的にスパースなバイナリアクティベーションとバイナリ重みの利点を組み合わせたSNNモデルが導入された。 実験は、フル精度実装に関するパフォーマンス損失を検証します。
  論文  参考訳（メタデータ） (2020-12-15T14:06:36Z)
• NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation [18.653663583989122]
  NeuroDiffは、差分検証の精度を大幅に向上させる、象徴的できめ細かな近似技術である。 以上の結果から,NeuroDiffは最先端のツールよりも1000倍高速で5倍精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-09-21T15:00:25Z)
• Neural network quantum state tomography in a two-qubit experiment [52.77024349608834]
  機械学習にインスパイアされた変分法は、量子シミュレータのスケーラブルな状態キャラクタリゼーションへの有望な経路を提供する。 本研究では,2ビットの絡み合った状態を生成する実験から得られた測定データに適用することにより,いくつかの手法をベンチマークし比較する。 実験的な不完全性やノイズの存在下では、変動多様体を物理状態に収束させることで、再構成された状態の質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-31T17:25:12Z)
• Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
  時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。 理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。 これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
  論文  参考訳（メタデータ） (2020-04-29T14:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。