論文の概要: Sequence Learning Using Equilibrium Propagation

• arxiv url: http://arxiv.org/abs/2209.09626v4
• Date: Tue, 22 Aug 2023 01:13:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 21:32:31.154323
• Title: Sequence Learning Using Equilibrium Propagation
• Title（参考訳）: 平衡伝播を用いたシーケンス学習
• Authors: Malyaban Bal and Abhronil Sengupta
• Abstract要約: Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。 現代のホップフィールドネットワークにおける最近の発展を利用して、エネルギーベースモデルをさらに理解し、EPを用いた複雑なシーケンス分類タスクのためのソリューションを開発する。
• 参考スコア（独自算出の注目度）: 2.3361887733755897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equilibrium Propagation (EP) is a powerful and more bio-plausible alternative to conventional learning frameworks such as backpropagation. The effectiveness of EP stems from the fact that it relies only on local computations and requires solely one kind of computational unit during both of its training phases, thereby enabling greater applicability in domains such as bio-inspired neuromorphic computing. The dynamics of the model in EP is governed by an energy function and the internal states of the model consequently converge to a steady state following the state transition rules defined by the same. However, by definition, EP requires the input to the model (a convergent RNN) to be static in both the phases of training. Thus it is not possible to design a model for sequence classification using EP with an LSTM or GRU like architecture. In this paper, we leverage recent developments in modern hopfield networks to further understand energy based models and develop solutions for complex sequence classification tasks using EP while satisfying its convergence criteria and maintaining its theoretical similarities with recurrent backpropagation. We explore the possibility of integrating modern hopfield networks as an attention mechanism with convergent RNN models used in EP, thereby extending its applicability for the first time on two different sequence classification tasks in natural language processing viz. sentiment analysis (IMDB dataset) and natural language inference (SNLI dataset).
• Abstract（参考訳）: Equilibrium Propagation (EP) は、バックプロパゲーションのような従来の学習フレームワークに代わる、強力でより生物学的な代替手段である。 EPの有効性は、局所的な計算にのみ依存し、両方のトレーニングフェーズで1種類の計算ユニットだけを必要とするという事実から来ており、生物にインスパイアされたニューロモルフィックコンピューティングのような領域で適用性を高めることができる。 EPにおけるモデルの力学はエネルギー関数によって制御され、モデルの内部状態は同じで定義された状態遷移規則に従って定常状態に収束する。 しかし、EPの定義によれば、モデルの入力(収束RNN)はトレーニングの両フェーズで静的である必要がある。 したがって、LSTMやGRUのようなアーキテクチャを用いたEPを用いたシーケンス分類モデルの設計は不可能である。 本稿では,現代ホップフィールドネットワークにおける最近の発展を活用し,エネルギーベースモデルをさらに理解し,収束基準を満たしながらEPを用いた複雑なシーケンス分類タスクの解を開発し,再帰的バックプロパゲーションと理論的類似性を維持する。 本研究では,EP で使用される収束 RNN モデルに注目するメカニズムとして,現代のホップフィールドネットワークを統合する可能性を探究し,自然言語処理における2つの異なるシーケンス分類タスクに対して,その適用性を初めて拡張する。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
  非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。 このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-08-26T17:50:47Z)
• Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
  拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。 本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:57:39Z)
• Recurrent neural networks and transfer learning for elasto-plasticity in woven composites [0.0]
  本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。 平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。 シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
  論文  参考訳（メタデータ） (2023-11-22T14:47:54Z)
• Point-Based Value Iteration for POMDPs with Neural Perception Mechanisms [31.51588071503617]
  ニューロシンボリックな部分観測可能なマルコフ決定過程(NS-POMDP)を紹介する。 状態空間と値ベクトルを包含するポリヘドラを用いて, 分割線形凸表現(P-PWLC)を提案する。 本稿では,ReLUニューラルネットワークを知覚機能として用いた2つのケーススタディに対して,本手法の実用性を示す。
  論文  参考訳（メタデータ） (2023-06-30T13:26:08Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Continual Weight Updates and Convolutional Architectures for Equilibrium Propagation [69.87491240509485]
  Equilibrium Propagation (EP)は、ニューラルネットワークのトレーニングのためのバックプロパゲーション(BP)に対する生物学的にインスパイアされた代替アルゴリズムである。 本稿では,方程式の簡易化,学習の高速化,CNNへのEP拡張を可能にするEPの離散時間定式化を提案する。 我々のCNNモデルは、EPでMNISTで報告された最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-29T12:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。