論文の概要: Spectrum of non-Hermitian deep-Hebbian neural networks
- arxiv url: http://arxiv.org/abs/2208.11411v1
- Date: Wed, 24 Aug 2022 10:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:34:12.272203
- Title: Spectrum of non-Hermitian deep-Hebbian neural networks
- Title（参考訳）: 非エルミート深層ニューラルネットワークのスペクトル
- Authors: Zijian Jiang and Ziming Chen and Tianqi Hou and Haiping Huang
- Abstract要約: 連続時間力学におけるシーケンス検索のモデルに広帯域シナプス積分窓の実験的観測を統合する。
我々の研究は、任意の時間遅延を伴う時間差相関の体系的な研究を提供し、これにより、幅広い記憶モデルの将来の研究に刺激を与えることができる。
- 参考スコア（独自算出の注目度）: 3.333967282951668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks with recurrent asymmetric couplings are important to
understand how episodic memories are encoded in the brain. Here, we integrate
the experimental observation of wide synaptic integration window into our model
of sequence retrieval in the continuous time dynamics. The model with
non-normal neuron-interactions is theoretically studied by deriving a random
matrix theory of the Jacobian matrix in neural dynamics. The spectra bears
several distinct features, such as breaking rotational symmetry about the
origin, and the emergence of nested voids within the spectrum boundary. The
spectral density is thus highly non-uniformly distributed in the complex plane.
The random matrix theory also predicts a transition to chaos. In particular,
the edge of chaos provides computational benefits for the sequential retrieval
of memories. Our work provides a systematic study of time-lagged correlations
with arbitrary time delays, and thus can inspire future studies of a broad
class of memory models, and even big data analysis of biological time series.
- Abstract（参考訳）: 繰り返し非対称結合を持つニューラルネットワークは、脳内でどのようにエピソード記憶がコードされるかを理解するために重要である。
本稿では,連続時間ダイナミクスにおけるシーケンス検索のモデルに,幅広いシナプス統合ウィンドウの実験的観察を統合する。
非正規ニューロン相互作用を持つモデルは、神経力学におけるヤコビ行列のランダム行列理論を導出することにより理論的に研究される。
スペクトルには、原点に関する回転対称性の破れや、スペクトル境界内のネストされた空隙の出現など、いくつかの異なる特徴がある。
したがってスペクトル密度は複素平面内では非均一に分布する。
ランダム行列理論はカオスへの遷移も予測する。
特に、カオスのエッジは、メモリのシーケンシャルな検索に計算上の利点を提供する。
本研究は,任意の時間遅延に対する時間遅延相関を体系的に研究することで,幅広いメモリモデル,さらには生物時系列のビッグデータ解析を後押しすることができる。
関連論文リスト
- The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Long Sequence Hopfield Memory [32.28395813801847]
シーケンスメモリは、エージェントが複雑な刺激や行動のシーケンスをエンコードし、保存し、取り出すことを可能にする。
非線形相互作用項を導入し、パターン間の分離を強化する。
このモデルを拡張して、状態遷移間の変動タイミングでシーケンスを格納する。
論文 参考訳（メタデータ） (2023-06-07T15:41:03Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Deep learning delay coordinate dynamics for chaotic attractors from
partial observable data [0.0]
深層ニューラルネットワークを用いて離散時間マップと部分状態の連続時間フローを学習する。
我々は, 3次元多様体上のスカラー観測から, ロレンツ系を経由したカオス挙動を予測するために, 深部ANNの能力を示す。
論文 参考訳（メタデータ） (2022-11-20T19:25:02Z) - Theoretical analysis of deep neural networks for temporally dependent
observations [1.6752182911522522]
非線形時系列データのモデリングにおけるディープニューラルネットワークの理論的性質について検討する。
結果は、様々な数値シミュレーション設定とマクロ経済データセットへの応用を通してサポートされる。
論文 参考訳（メタデータ） (2022-10-20T18:56:37Z) - Consistency of mechanistic causal discovery in continuous-time using
Neural ODEs [85.7910042199734]
ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。
本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-06T08:48:02Z) - Chaos and Ergodicity in Extended Quantum Systems with Noisy Driving [0.0]
固定方向のランダム場を持つ局所量子回路群における時間発展演算子について検討する。
本稿では, 一般化スペクトル形状因子を動的相関関数で表すシステムについて述べる。
これはまた、多体のThouless time $tau_rm th$ -- 一般化されたスペクトル形成因子がランダム行列理論の予測に続いて始まる時間 -- とシステムの保存法則との間の接続も提供する。
論文 参考訳（メタデータ） (2020-10-23T15:54:55Z) - Time-Reversal Symmetric ODE Network [138.02741983098454]
時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。
本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。
時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳（メタデータ） (2020-07-22T12:19:40Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。