論文の概要: Sequence Learning using Equilibrium Propagation
- arxiv url: http://arxiv.org/abs/2209.09626v1
- Date: Wed, 14 Sep 2022 20:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 17:15:17.554886
- Title: Sequence Learning using Equilibrium Propagation
- Title(参考訳): 平衡伝播を用いたシーケンス学習
- Authors: Malyaban Bal and Abhronil Sengupta
- Abstract要約: Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。
現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
- 参考スコア(独自算出の注目度): 1.4064098149962194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Equilibrium Propagation (EP) is a powerful and more bio-plausible alternative
to conventional learning frameworks such as backpropagation. The effectiveness
of EP stems from the fact that it relies only on local computations and
requires solely one kind of computational unit during both of its training
phases, thereby enabling greater applicability in domains such as bio-inspired
neuromorphic computing. The dynamics of the model in EP is governed by an
energy function and the internal states of the model consequently converge to a
steady state following the state transition rules defined by the same. However,
by definition, EP requires the input to the model (a convergent RNN) to be
static in both the phases of training. Thus it is not possible to design a
model for sequence classification using EP with an LSTM or GRU like
architecture. In this paper, we leverage recent developments in modern hopfield
networks to further understand energy based models and develop solutions for
complex sequence classification tasks using EP while satisfying its convergence
criteria and maintaining its theoretical similarities with recurrent
backpropagation. We explore the possibility of integrating modern hopfield
networks as an attention mechanism with convergent RNN models used in EP,
thereby extending its applicability for the first time on two different
sequence classification tasks in natural language processing viz. sentiment
analysis (IMDB dataset) and natural language inference (SNLI dataset).
- Abstract(参考訳): Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。
EPの有効性は、局所的な計算にのみ依存し、両方のトレーニングフェーズで1種類の計算ユニットだけを必要とするという事実から来ており、生物にインスパイアされたニューロモルフィックコンピューティングのような領域で適用性を高めることができる。
EPにおけるモデルの力学はエネルギー関数によって制御され、モデルの内部状態は同じで定義された状態遷移規則に従って定常状態に収束する。
しかし、EPの定義によれば、モデルの入力(収束RNN)はトレーニングの両フェーズで静的である必要がある。
したがって、LSTMやGRUのようなアーキテクチャを用いたEPを用いたシーケンス分類モデルの設計は不可能である。
本稿では,現代ホップフィールドネットワークにおける最近の発展を活用し,エネルギーベースモデルをさらに理解し,収束基準を満たしながらEPを用いた複雑なシーケンス分類タスクの解を開発し,再帰的バックプロパゲーションと理論的類似性を維持する。
本研究では,EP で使用される収束 RNN モデルに注目するメカニズムとして,現代のホップフィールドネットワークを統合する可能性を探究し,自然言語処理における2つの異なるシーケンス分類タスクに対して,その適用性を初めて拡張する。
関連論文リスト
- Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳(メタデータ) (2024-02-19T15:57:39Z) - SPDE priors for uncertainty quantification of end-to-end neural data
assimilation schemes [4.213142548113385]
ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。
本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。
我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
論文 参考訳(メタデータ) (2024-02-02T19:18:12Z) - Recurrent neural networks and transfer learning for elasto-plasticity in
woven composites [0.0]
本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。
平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。
シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
論文 参考訳(メタデータ) (2023-11-22T14:47:54Z) - ETLP: Event-based Three-factor Local Plasticity for online learning with
neuromorphic hardware [105.54048699217668]
イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。
また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
論文 参考訳(メタデータ) (2023-01-19T19:45:42Z) - Generalized Neural Closure Models with Interpretability [28.269731698116257]
我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。
マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。
本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
論文 参考訳(メタデータ) (2023-01-15T21:57:43Z) - Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。
逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文 参考訳(メタデータ) (2022-12-05T19:40:17Z) - Regularized Sequential Latent Variable Models with Adversarial Neural
Networks [33.74611654607262]
逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。
変動RNNモデルの学習に逆法を用いる可能性を探る。
論文 参考訳(メタデータ) (2021-08-10T08:05:14Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Equilibrium Propagation with Continual Weight Updates [69.87491240509485]
時間によるバックプロパゲーション(BPTT)と密接に一致する勾配を計算し、機械学習と神経科学を橋渡しする学習アルゴリズムを提案する。
理論的には、学習速度が十分に小さい場合、第2相の各段階において、BPTTが与える損失の勾配に従ってニューロンとシナプスのダイナミクスが従うことを証明している。
これらの結果からEPは,後方伝播との親密な関係を維持しつつ,ハードウェアの制約に順応し,生物学に一歩近づいた。
論文 参考訳(メタデータ) (2020-04-29T14:54:30Z) - Continual Weight Updates and Convolutional Architectures for Equilibrium
Propagation [69.87491240509485]
Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。
本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。
我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-04-29T12:14:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。