論文の概要: Understanding Recurrent Neural Networks Using Nonequilibrium Response
Theory
- arxiv url: http://arxiv.org/abs/2006.11052v2
- Date: Mon, 18 Jan 2021 17:28:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 04:24:58.251813
- Title: Understanding Recurrent Neural Networks Using Nonequilibrium Response
Theory
- Title(参考訳): 非平衡応答理論を用いたリカレントニューラルネットワークの理解
- Authors: Soon Hoe Lim
- Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。
非平衡統計力学からの応答理論を用いてRNNが入力信号を処理する方法を示す。
- 参考スコア(独自算出の注目度): 5.33024001730262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recurrent neural networks (RNNs) are brain-inspired models widely used in
machine learning for analyzing sequential data. The present work is a
contribution towards a deeper understanding of how RNNs process input signals
using the response theory from nonequilibrium statistical mechanics. For a
class of continuous-time stochastic RNNs (SRNNs) driven by an input signal, we
derive a Volterra type series representation for their output. This
representation is interpretable and disentangles the input signal from the SRNN
architecture. The kernels of the series are certain recursively defined
correlation functions with respect to the unperturbed dynamics that completely
determine the output. Exploiting connections of this representation and its
implications to rough paths theory, we identify a universal feature -- the
response feature, which turns out to be the signature of tensor product of the
input signal and a natural support basis. In particular, we show that SRNNs,
with only the weights in the readout layer optimized and the weights in the
hidden layer kept fixed and not optimized, can be viewed as kernel machines
operating on a reproducing kernel Hilbert space associated with the response
feature.
- Abstract(参考訳): リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルデータの解析に機械学習で広く使用される脳モデルである。
この研究は、RNNが非平衡統計力学の応答理論を用いて入力信号をどのように処理するかを深く理解するための貢献である。
入力信号によって駆動される連続時間確率RNN(SRNN)のクラスに対して、Volterra型系列表現を出力として導出する。
この表現は解釈可能であり、SRNNアーキテクチャから入力信号を切り離す。
系列の核は、出力を完全に決定する非摂動力学に関して、ある種の再帰的に定義された相関関数である。
この表現とその大まかな経路理論への含意を明らかにすることで、入力信号のテンソル積のシグネチャであり、自然な支持基盤であることが判明した、普遍的な特徴である応答特徴を識別する。
特に,読み出し層の重みのみを最適化し,隠れた層内の重みを固定し,最適化しないsrnnを,応答特性に付随するカーネルヒルベルト空間上で動作するカーネルマシンとして捉えることができることを示した。
関連論文リスト
- Episodic Memory Theory for the Mechanistic Interpretation of Recurrent
Neural Networks [3.683202928838613]
本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。
本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。
実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T20:52:37Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Learning Stable Graph Neural Networks via Spectral Regularization [18.32587282139282]
グラフニューラルネットワーク(GNN)の安定性は、GNNがグラフ摂動にどう反応するかを特徴付け、ノイズの多いシナリオでアーキテクチャのパフォーマンスを保証する。
本稿では,グラフスペクトル領域におけるフィルタ周波数応答を正規化することにより,アーキテクチャの安定性を向上させる自己正規化グラフニューラルネットワーク(SR-GNN)を開発した。
論文 参考訳(メタデータ) (2022-11-13T17:27:21Z) - Signal Processing for Implicit Neural Representations [80.38097216996164]
Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。
既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。
本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
論文 参考訳(メタデータ) (2022-10-17T06:29:07Z) - Lyapunov-Guided Representation of Recurrent Neural Network Performance [9.449520199858952]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、シーケンスと時系列データのためのユビキタスコンピューティングシステムである。
本稿では,RNNを力学系として扱うとともに,リアプノフスペクトル解析を用いてハイパーパラメータを高精度に相関する手法を提案する。
各種RNNアーキテクチャの研究により,AeLLEはRNNリアプノフスペクトルと精度の相関が得られた。
論文 参考訳(メタデータ) (2022-04-11T05:38:38Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Framing RNN as a kernel method: A neural ODE approach [11.374487003189468]
我々は,RNNの解を,入力シーケンスの特定の特徴集合の線形関数と見なせることを示す。
我々は,大規模なリカレントネットワークの一般化と安定性に関する理論的保証を得る。
論文 参考訳(メタデータ) (2021-06-02T14:46:40Z) - Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。
畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
論文 参考訳(メタデータ) (2020-10-22T09:10:16Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-19T15:28:00Z) - Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and
(gradient) stable architecture for learning long time dependencies [15.2292571922932]
本稿では,リカレントニューラルネットワークのための新しいアーキテクチャを提案する。
提案するRNNは, 2次常微分方程式系の時間分解に基づく。
実験の結果,提案したRNNは,様々なベンチマークによる最先端技術に匹敵する性能を示した。
論文 参考訳(メタデータ) (2020-10-02T12:35:04Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。