論文の概要: Learning Continuous Chaotic Attractors with a Reservoir Computer
- arxiv url: http://arxiv.org/abs/2110.08631v1
- Date: Sat, 16 Oct 2021 18:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-11 08:03:58.539437
- Title: Learning Continuous Chaotic Attractors with a Reservoir Computer
- Title（参考訳）: 貯留層コンピュータによる連続カオスアトラクタの学習
- Authors: Lindsay M. Smith (1), Jason Z. Kim (1), Zhixin Lu (1), Dani S. Bassett
(1 and 2) ((1) University of Pennsylvania, (2) Santa Fe Institute)
- Abstract要約: 我々は1000ニューロンのRNNをトレーニングし、動的アトラクションメモリの分離例から連続的動的アトラクションメモリを抽象化する。
RCを安定な極限サイクルまたはカオス的なローレンツ引力の孤立およびシフトした例で訓練することにより、RCは、余剰のリャプノフ指数が 0 に等しいように、引力の連続性を学ぶ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural systems are well known for their ability to learn and store
information as memories. Even more impressive is their ability to abstract
these memories to create complex internal representations, enabling advanced
functions such as the spatial manipulation of mental representations. While
recurrent neural networks (RNNs) are capable of representing complex
information, the exact mechanisms of how dynamical neural systems perform
abstraction are still not well-understood, thereby hindering the development of
more advanced functions. Here, we train a 1000-neuron RNN -- a reservoir
computer (RC) -- to abstract a continuous dynamical attractor memory from
isolated examples of dynamical attractor memories. Further, we explain the
abstraction mechanism with new theory. By training the RC on isolated and
shifted examples of either stable limit cycles or chaotic Lorenz attractors,
the RC learns a continuum of attractors, as quantified by an extra Lyapunov
exponent equal to zero. We propose a theoretical mechanism of this abstraction
by combining ideas from differentiable generalized synchronization and feedback
dynamics. Our results quantify abstraction in simple neural systems, enabling
us to design artificial RNNs for abstraction, and leading us towards a neural
basis of abstraction.
- Abstract（参考訳）: ニューラルネットワークは、情報を学習し記憶として保存する能力でよく知られている。
さらに印象的なのは、これらの記憶を抽象化して複雑な内部表現を作り、心的表現の空間的操作のような高度な機能を実現する能力である。
リカレントニューラルネットワーク(RNN)は複雑な情報を表現できるが、動的ニューラルネットワークの抽象化の正確なメカニズムはまだよく理解されていないため、より高度な関数の開発を妨げる。
ここでは,1,000-neuron rnn -- 貯水池コンピュータ(rc) -- を訓練し,動的アトラクタメモリの孤立例から連続的な動的アトラクタメモリを抽象化する。
さらに,この抽象化機構を新しい理論で説明する。
rcは、安定なリミットサイクルまたはカオスロレンツアトラクタの孤立およびシフトの例でrcを訓練することで、0に等しい余剰リアプノフ指数によって定量化されたアトラクタの連続体を学ぶ。
微分可能一般化同期とフィードバックダイナミクスのアイデアを組み合わせることで,この抽象化の理論的メカニズムを提案する。
我々の結果は、単純なニューラルネットワークで抽象化を定量化し、抽象のために人工RNNを設計し、抽象の神経基盤へと導くことができる。
関連論文リスト
- Transformer Dynamics: A neuroscientific approach to interpretability of large language models [0.0]
我々はトランスモデルにおける残留ストリーム(RS)に注目し、層をまたいで進化する動的システムとして概念化する。
個々のRSユニットの活性化は、RSが非特権ベースであるにもかかわらず、層間において強い連続性を示す。
縮小次元空間において、RS は下層に誘引子のようなダイナミクスを持つ曲線軌道に従う。
論文 参考訳（メタデータ） (2025-02-17T18:49:40Z) - Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。
まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。
我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文 参考訳（メタデータ） (2025-02-03T20:30:46Z) - Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。
完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。
このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
論文 参考訳（メタデータ） (2024-10-17T17:47:54Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Spiking representation learning for associative memories [0.0]
本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。
モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
論文 参考訳（メタデータ） (2024-06-05T08:30:11Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。
我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
論文 参考訳（メタデータ） (2023-07-28T13:22:32Z) - Trainability, Expressivity and Interpretability in Gated Neural ODEs [0.0]
本稿では,ニューラルネットワークのキャパシティを探索して複雑なトラジェクトリを生成する,表現性の新たな尺度を提案する。
本研究は,低次元のgnODEがモデリング能力を保ちながら,解釈可能性を大幅に向上することを示す。
また,複数の実世界のタスクにおいて,NODEにおけるゲーティングの利点を示す。
論文 参考訳（メタデータ） (2023-07-12T18:29:01Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。
我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
論文 参考訳（メタデータ） (2020-05-03T20:51:46Z) - Controlling Recurrent Neural Networks by Conceptors [0.5439020425818999]
本稿では, 非線形力学と概念抽象と論理の基本原理を結合した, 概念論という, 神経力学の機構を提案する。
単一のニューラルネットワーク内の多数の動的パターンを学習、保存、抽象化、フォーカス、モーフィック、一般化、デノイズ化、認識することが可能になります。
論文 参考訳（メタデータ） (2014-03-13T18:58:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。