論文の概要: Hybridizing Equilibrium Propagation with Ising Machines for Efficient Energy-Based Learning
- arxiv url: http://arxiv.org/abs/2606.09112v1
- Date: Mon, 08 Jun 2026 07:04:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.782144
- Title: Hybridizing Equilibrium Propagation with Ising Machines for Efficient Energy-Based Learning
- Title(参考訳): 効率的なエネルギーベース学習のためのイジングマシンによる平衡伝播のハイブリッド化
- Authors: Chen-Rui Fan, Bo Lu, Xing-Yu Wu, Tie-Jun Wang, Chuan Wang,
- Abstract要約: 拡散ホップフィールド緩和を共役変数を持つ拡張位相空間力学に置き換えるIsing-dynamics-inspired equilibrium-proagationフレームワークを導入する。
提案手法は,MNIST,FashionMNIST,CIFAR-10上の深部畳み込みホップフィールドネットワークを,バックプロパゲーションに匹敵する性能で訓練する。
- 参考スコア(独自算出の注目度): 16.985188733863602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid evolution of artificial intelligence has led to substantial advances in deep neural networks. Nonetheless, conventional GPU-based training remains highly energy-demanding, motivating the exploration of physical dynamics and compatible energy-based learning schemes, such as equilibrium propagation (EP). EP-based training, however, frequently suffers from convergence to local minima due to phase-space contraction. Here we introduce an Ising-dynamics-inspired equilibrium-propagation framework in which dissipative Hopfield relaxation is replaced by an extended phase-space dynamics with conjugate variables. The resulting training paradigm keeps the local two-phase learning rule of EP while changing the physical route by which neural states reach equilibrium. We show that this dynamics lowers effective energy barriers, accelerates convergence, improves noise robustness, and trains deep convolutional Hopfield networks on MNIST, FashionMNIST, and CIFAR-10 with performance comparable to backpropagation.
- Abstract(参考訳): 人工知能の急速な進化は、ディープニューラルネットワークの大幅な進歩につながった。
それでも、従来のGPUベースのトレーニングは高いエネルギー需要を保ち、物理力学と平衡伝播(EP)のような互換性のあるエネルギーベースの学習スキームの探索を動機付けている。
しかし、EPベースのトレーニングは、位相空間の収縮により、しばしば局所的なミニマへの収束に悩まされる。
ここでは、散逸性ホップフィールド緩和を共役変数を持つ拡張位相空間力学に置き換えるイジング力学に着想を得た平衡伝播フレームワークを導入する。
結果として生じる訓練パラダイムは、EPの局所的な二相学習規則を維持しながら、神経状態が平衡に達する物理的な経路を変化させる。
提案手法は,MNIST,FashionMNIST,CIFAR-10上の深部畳み込みホップフィールドネットワークをバックプロパゲーションに匹敵する性能で訓練する。
関連論文リスト
- TIDE: Asymmetric Neural Circuits for Stabilized Temporal Inhibitory-Excitatory Dynamics [51.37317469455798]
最近のContinuous Thought Machineアーキテクチャは、ニューラルダイナミクスを介して外部入力から内部計算を分離している。
非対称な興奮抑制(E-I)ネットワークを用いたニューラルダイナミクスのモデル化を提案する。
本稿では、神経力学を安定化させて内部表現を計算する、神経に触発されたアーキテクチャであるTIDE(Temporal Inhibitory-Excitatory Dynamic Engine)を紹介する。
論文 参考訳(メタデータ) (2026-05-19T05:59:13Z) - Machine learning nonequilibrium phase transitions in charge-density wave insulators [3.4485371511969003]
非平衡電子に結合した断熱格子ダイナミクスのための機械学習フレームワークを開発する。
本結果は, 駆動量子材料における非平衡格子ダイナミクスをシミュレーションするための, 効率的かつ正確な手法として, 直接力学習を確立した。
論文 参考訳(メタデータ) (2026-01-12T14:34:50Z) - Near-Equilibrium Propagation training in nonlinear wave systems [0.0]
現代の人工知能のワークホースであるバックプロパゲーション学習アルゴリズムは、物理ニューラルネットワークの実装が難しいことで知られている。
我々はEP学習を離散的および連続的な複素数値波系に拡張する。
単純な論理的タスクや手書きデジタル認識を含む標準ベンチマークに関する数値的研究は、安定な収束を示す。
論文 参考訳(メタデータ) (2025-10-17T15:03:07Z) - Learning at the Speed of Physics: Equilibrium Propagation on Oscillator Ising Machines [0.0]
自然にエネルギー降下を行う物理システムは、機械学習への直接的な経路を提供する。
我々は,OIMがグローバルなバックプロパゲーションを伴わずに競争精度を達成することを示す。
これらの結果は、OIMを神経形学習のための高速でエネルギー効率の高い基質として確立する。
論文 参考訳(メタデータ) (2025-10-14T19:15:49Z) - Training Deep Normalization-Free Spiking Neural Networks with Lateral Inhibition [52.59263087086756]
深層ニューラルネットワーク(SNN)のトレーニングは、バッチ正規化のような明示的な正規化スキームに依存している。
本研究では,皮質回路にインスパイアされた側方抑制を取り入れた正規化自由学習フレームワークを提案する。
本稿では,生物リアリズムを持つ深層SNNの安定的学習を可能にするとともに,明示的な正規化に頼らずに競争性能を達成できることを述べる。
論文 参考訳(メタデータ) (2025-09-27T11:11:30Z) - Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。
本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
論文 参考訳(メタデータ) (2023-05-26T19:14:01Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [62.43908463620527]
実際には、EPはMNISTよりも難しい視覚タスクにスケールしない。
我々は、有限なヌーディングの使用に固有のEPの勾配推定のバイアスがこの現象に責任があることを示しています。
これらの結果は、EPをディープニューラルネットワークにおける誤差勾配を計算するスケーラブルなアプローチとして強調し、ハードウェア実装を動機付けている。
論文 参考訳(メタデータ) (2021-01-14T10:23:40Z) - Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。
理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。
これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
論文 参考訳(メタデータ) (2020-04-29T14:54:30Z) - Continual Weight Updates and Convolutional Architectures for Equilibrium
Propagation [69.87491240509485]
Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。
本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。
我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-29T12:14:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。