論文の概要: Dependence of Equilibrium Propagation Training Success on Network Architecture
- arxiv url: http://arxiv.org/abs/2601.21945v1
- Date: Thu, 29 Jan 2026 16:29:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.992752
- Title: Dependence of Equilibrium Propagation Training Success on Network Architecture
- Title（参考訳）: 平衡伝播訓練の成功度がネットワークアーキテクチャーに及ぼす影響
- Authors: Qingshan Wang, Clara C. Wanjura, Florian Marquardt,
- Abstract要約: 本研究では, 局所連結格子の平衡伝播の広汎な物理に基づく訓練法の性能について検討する。
その結果,ローカル接続のみのスパースネットワークは,高密度ネットワークに匹敵する性能が得られることがわかった。
- 参考スコア（独自算出の注目度）: 2.0123602216287027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid rise of artificial intelligence has led to an unsustainable growth in energy consumption. This has motivated progress in neuromorphic computing and physics-based training of learning machines as alternatives to digital neural networks. Many theoretical studies focus on simple architectures like all-to-all or densely connected layered networks. However, these may be challenging to realize experimentally, e.g. due to connectivity constraints. In this work, we investigate the performance of the widespread physics-based training method of equilibrium propagation for more realistic architectural choices, specifically, locally connected lattices. We train an XY model and explore the influence of architecture on various benchmark tasks, tracking the evolution of spatially distributed responses and couplings during training. Our results show that sparse networks with only local connections can achieve performance comparable to dense networks. Our findings provide guidelines for further scaling up architectures based on equilibrium propagation in realistic settings.
- Abstract（参考訳）: 人工知能の急速な普及は、エネルギー消費の持続不可能な成長につながった。
これは、デジタルニューラルネットワークに代わるものとして、ニューロモルフィックコンピューティングと学習機械の物理ベースのトレーニングの進歩を動機付けている。
多くの理論的研究は、オール・ツー・オール・トゥ・オール(英語版)や密結合層ネットワーク(英語版)のような単純なアーキテクチャに焦点を当てている。
しかしこれらは、例えば接続の制約のため、実験的に実現することは困難である。
本研究では,より現実的なアーキテクチャ選択,特に局所連結格子に対する平衡伝播の広範な物理に基づくトレーニング手法の性能について検討する。
我々はXYモデルをトレーニングし、様々なベンチマークタスクにおけるアーキテクチャの影響を調査し、トレーニング中の空間分散応答と結合の進化を追跡する。
その結果,ローカル接続のみのスパースネットワークは,高密度ネットワークに匹敵する性能が得られることがわかった。
本研究は, 現実的な環境下での平衡伝播に基づくアーキテクチャのさらなるスケールアップに関するガイドラインを提供する。
関連論文リスト
- Machine Learning and Control: Foundations, Advances, and Perspectives [0.0]
重畳制御性やアンサンブル制御性といった概念は、ディープニューラルネットワークの分類と表現特性に新たな洞察を与えることを示す。
また、動的ニューラルネットワークと静的ニューラルネットワークの関係についても検討する。
偏微分方程式の文脈で長い間確立されてきた拡散過程の古典的性質が、現代の生成人工知能の成功を説明するのにどのように貢献するかを述べる。
論文 参考訳（メタデータ） (2025-09-30T10:47:26Z) - Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning [57.3885832382455]
静的ネットワークの疎結合を単独で導入することで,最先端アーキテクチャの高密度化を超えて,さらなるスケーリング可能性を実現することができることを示す。
解析の結果,高密度DRLネットワークをネーティブにスケールアップするのとは対照的に,疎ネットワークは高いパラメータ効率とネットワーク表現性を両立させることがわかった。
論文 参考訳（メタデータ） (2025-06-20T17:54:24Z) - Auto-Compressing Networks [51.221103189527014]
本稿では,各層からの長いフィードフォワード接続が従来の短残コネクションに取って代わるアーキテクチャ変種であるAuto-compression Networks (ACNs)を紹介する。
本稿では,ACNが残差ネットワークと比較して高雑音を示すこと,低データ設定における優れた性能を示すこと,破滅的忘れを軽減できることを述べる。
これらの知見は、効率的な神経アーキテクチャを開発するための実践的なアプローチとしてACNを確立している。
論文 参考訳（メタデータ） (2025-06-11T13:26:09Z) - Neuromorphic on-chip reservoir computing with spiking neural network architectures [0.562479170374811]
貯留層コンピューティングは、リカレントニューラルネットワークの計算能力を活用するための有望なアプローチである。
本稿では,貯水池計算フレームワークにおける統合・火災ニューロンの2つのタスクへの適用について検討する。
本稿では,IntelのニューロモーフィックコンピューティングソフトウェアフレームワークであるLavaと,Loihiのオンチップ実装を用いて,独自の統合・ファイアコードを用いた貯水池計算性能について検討する。
論文 参考訳（メタデータ） (2024-07-30T05:05:09Z) - Dynamical stability and chaos in artificial neural network trajectories along training [3.379574469735166]
浅いニューラルネットワークのネットワーク軌跡をこのレンズを通して解析することにより,このプロセスの動的特性について検討する。
我々は,学習率の仕組みによって,規則的かつカオス的な行動のヒントを見いだす。
この研究は、力学系理論、ネットワーク理論、機械学習のアイデアの交叉受精にも貢献している。
論文 参考訳（メタデータ） (2024-04-08T17:33:11Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Deep learning of contagion dynamics on complex networks [0.0]
本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。
任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。
この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
論文 参考訳（メタデータ） (2020-06-09T17:18:34Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。