論文の概要: How to Train Your Resistive Network: Generalized Equilibrium Propagation and Analytical Learning
- arxiv url: http://arxiv.org/abs/2602.03546v2
- Date: Wed, 04 Feb 2026 06:41:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 15:07:33.816457
- Title: How to Train Your Resistive Network: Generalized Equilibrium Propagation and Analytical Learning
- Title（参考訳）: 抵抗ネットワークのトレーニング方法:一般化された平衡伝播と分析学習
- Authors: Jonathan Lin, Aman Desai, Frank Barrows, Francesco Caravelli,
- Abstract要約: 我々はKirchhoffの法則に対するグラフ理論および解析フレームワークを用いて勾配を計算するアルゴリズムを開発した。
数値シミュレーションを用いて本アルゴリズムを実証し,全ての抵抗のレプリカやリードアウトを必要とせずに,出力層のみにレジストレータネットワークをトレーニング可能であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning is a powerful method of extracting meaning from data; unfortunately, current digital hardware is extremely energy-intensive. There is interest in an alternative analog computing implementation that could match the performance of traditional machine learning while being significantly more energy-efficient. However, it remains unclear how to train such analog computing systems while adhering to locality constraints imposed by the physical (as opposed to digital) nature of these systems. Local learning algorithms such as Equilibrium Propagation and Coupled Learning have been proposed to address this issue. In this paper, we develop an algorithm to exactly calculate gradients using a graph theoretic and analytical framework for Kirchhoff's laws. We also introduce Generalized Equilibrium Propagation, a framework encompassing a broad class of Hebbian learning algorithms, including Coupled Learning and Equilibrium Propagation, and show how our algorithm compares. We demonstrate our algorithm using numerical simulations and show that we can train resistor networks without the need for a replica or readout over all resistors, only at the output layer. We also show that under the analytical gradient approach, it is possible to update only a subset of the resistance values without a strong degradation in performance.
- Abstract（参考訳）: 機械学習はデータから意味を抽出する強力な方法である。
従来の機械学習の性能に匹敵する代替のアナログコンピューティングの実装に興味があり、エネルギー効率は大幅に向上した。
しかし、これらのシステムの物理的(デジタルではなく)性質によって課される局所性制約に固執しながら、そのようなアナログコンピューティングシステムをいかに訓練するかは定かではない。
この問題に対処するために、Equilibrium PropagationやCoupled Learningといったローカル学習アルゴリズムが提案されている。
本稿では,Kirchhoffの法則に対するグラフ理論および解析的枠組みを用いて,勾配を正確に計算するアルゴリズムを開発する。
また、一般化平衡伝播(Generalized Equilibrium Propagation)についても紹介する。これは、結合学習や平衡伝播を含む、幅広い種類のヘビ語学習アルゴリズムを含むフレームワークであり、我々のアルゴリズムがどのように比較されるかを示す。
数値シミュレーションを用いて本アルゴリズムを実証し,全ての抵抗のレプリカやリードアウトを必要とせずに,出力層のみにレジストレータネットワークをトレーニング可能であることを示す。
また, 解析的勾配法では, 高い性能劣化を伴わずに, 抵抗値のサブセットだけを更新できることが示唆された。
関連論文リスト
- Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳（メタデータ） (2025-07-31T05:34:27Z) - Convergence of energy-based learning in linear resistive networks [2.9248916859490173]
エネルギーベースの学習アルゴリズムはアナログ電子デバイスにおける分散実装に適している。
我々は、線形調整可能な抵抗器のネットワークに適用した、特定のエネルギーに基づく学習アルゴリズムであるContrastive Learningを分析して、この方向への第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-03-01T04:47:02Z) - Thermodynamic Natural Gradient Descent [0.0]
自然勾配勾配勾配は1次法に類似した計算複雑性を持つことを示す。
ニューラルネットワークをトレーニングするためのハイブリッドディジタルアナログアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-22T16:47:03Z) - Gradient-free online learning of subgrid-scale dynamics with neural emulators [5.283819482083864]
機械学習に基づくサブグリッドパラメトリゼーションをオンラインでトレーニングするための汎用アルゴリズムを提案する。
我々は、元の解法の勾配を計算することなく、オンライン戦略の利点のほとんどを回復するパラメトリゼーションを訓練することができる。
論文 参考訳（メタデータ） (2023-10-30T09:46:35Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:41:36Z) - Gradient descent in materia through homodyne gradient extraction [2.012950941269354]
ホモダイン検出の原理に基づく簡易かつ効率的な勾配抽出法を示す。
最適化が必要なパラメータを摂動することで、高度に堅牢でスケーラブルな方法で勾配情報を得ることができる。
ホモジン勾配抽出は原則としてアマチュアで完全に実装することができ、自律的に学習する物質システムの開発を促進する。
論文 参考訳（メタデータ） (2021-05-15T12:18:31Z) - Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm [62.997667081978825]
アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
論文 参考訳（メタデータ） (2020-10-13T08:02:38Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳（メタデータ） (2020-05-05T08:00:07Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳（メタデータ） (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。