論文の概要: A Waddington landscape for prototype learning in generalized Hopfield
networks
- arxiv url: http://arxiv.org/abs/2312.03012v1
- Date: Mon, 4 Dec 2023 21:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 17:41:25.885077
- Title: A Waddington landscape for prototype learning in generalized Hopfield
networks
- Title（参考訳）: 一般化ホップフィールドネットワークにおけるプロトタイプ学習のためのワディントンランドスケープ
- Authors: Nacer Eddine Boukacem, Allen Leary, Robin Th\'eriault, Felix Gottlieb,
Madhav Mani, Paul Fran\c{c}ois
- Abstract要約: 一般化ホップフィールドネットワークの学習力学について検討する。
細胞が分化するにつれて、運河や低次元のダイナミックスと強い類似性が観察される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Networks in machine learning offer examples of complex high-dimensional
dynamical systems reminiscent of biological systems. Here, we study the
learning dynamics of Generalized Hopfield networks, which permit a
visualization of internal memories. These networks have been shown to proceed
through a 'feature-to-prototype' transition, as the strength of network
nonlinearity is increased, wherein the learned, or terminal, states of internal
memories transition from mixed to pure states. Focusing on the prototype
learning dynamics of the internal memories we observe a strong resemblance to
the canalized, or low-dimensional, dynamics of cells as they differentiate
within a Waddingtonian landscape. Dynamically, we demonstrate that learning in
a Generalized Hopfield Network proceeds through sequential 'splits' in memory
space. Furthermore, order of splitting is interpretable and reproducible. The
dynamics between the splits are canalized in the Waddington sense -- robust to
variations in detailed aspects of the system. In attempting to make the analogy
a rigorous equivalence, we study smaller subsystems that exhibit similar
properties to the full system. We combine analytical calculations with
numerical simulations to study the dynamical emergence of the
feature-to-prototype transition, and the behaviour of splits in the landscape,
saddles points, visited during learning. We exhibit regimes where saddles
appear and disappear through saddle-node bifurcations, qualitatively changing
the distribution of learned memories as the strength of the nonlinearity is
varied -- allowing us to systematically investigate the mechanisms that
underlie the emergence of Waddingtonian dynamics. Memories can thus
differentiate in a predictive and controlled way, revealing new bridges between
experimental biology, dynamical systems theory, and machine learning.
- Abstract（参考訳）: 機械学習のネットワークは、生体システムを想起させる複雑な高次元力学システムの例を提供する。
本稿では,内部記憶の可視化を可能にする一般化ホップフィールドネットワークの学習ダイナミクスについて検討する。
これらのネットワークは、ネットワークの非線形性の強さが増大するにつれて、内部記憶状態が混合状態から純粋状態へ遷移する「機能-プロトタイプ」遷移を進行することが示されている。
内的記憶のプロトタイプの学習ダイナミクスに注目して,ワッディトニアの風景の中で分化する細胞を細分化した,あるいは低次元の細胞によく似ていることを観察した。
動的に、一般化ホップフィールドネットワークにおける学習は、メモリ空間における逐次的な「スプリット」を通して進行することを示す。
また、分割の順序は解釈可能で再現可能である。
分割間のダイナミクスは、Waddingtonの意味で運河化されます -- システムの詳細な側面のバリエーションに対して堅牢です。
アナロジーを厳密な同値性にしようとして、フルシステムに類似した性質を示すより小さなサブシステムについて研究する。
解析計算と数値シミュレーションを組み合わせることで,特徴-原型遷移の動的出現と,学習中に訪れたランドスケープ,サドルポイント,スプリットの挙動を考察する。
我々は、サドルノードの分岐を通じてサドルが出現し消滅し、非線形性の強さが変化するにつれて学習記憶の分布を定性的に変化させることで、ワッディングトン力学の出現を裏付けるメカニズムを体系的に研究できるレジームを提示する。
したがって、記憶は予測的かつ制御的な方法で区別することができ、実験生物学、力学系理論、機械学習の新たな橋渡しを明らかにする。
関連論文リスト
- A Generalized Framework for Multiscale State-Space Modeling with Nested Nonlinear Dynamics: An Application to Bayesian Learning under Switching Regimes [0.0]
ネストされた非線形力学を組み込んだマルチスケール状態空間モデリングのための一般化されたフレームワークを提案する。
私たちのフレームワークは、システム内の高速プロセスと低速プロセスの間の複雑な相互作用をキャプチャします。
我々は,スイッチングダイナミクスに対応する潜在状態と指標を推定するベイズ学習手法を開発した。
論文 参考訳（メタデータ） (2024-10-24T18:31:20Z) - Trans-Bifurcation Prediction of Dynamics in terms of Extreme Learning Machines with Control Inputs [0.49998148477760973]
対象とする1-パラメータ系の分岐の全体構造は,数パラメータ値のみを用いて過渡的ダイナミクスのトレーニングによってほぼ再現可能であることを示す。
我々は,この卓越した学習能力を説明するためのメカニズムを提案し,Kimらによって得られた結果と類似した結果との関係について論じる。
論文 参考訳（メタデータ） (2024-10-17T07:34:23Z) - Learning System Dynamics without Forgetting [60.08612207170659]
未知の力学を持つ系の軌道予測は、物理学や生物学を含む様々な研究分野において重要である。
本稿では,モードスイッチンググラフODE (MS-GODE) の新たなフレームワークを提案する。
生体力学の異なる多様な系を特徴とする生体力学システムの新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2024-06-30T14:55:18Z) - Emergent learning in physical systems as feedback-based aging in a
glassy landscape [0.0]
学習力学は,フィードバック境界力の繰り返し適用に応答してシステムを緩和する老化過程に類似していることが示される。
また、エポック関数としての平均二乗誤差の平方根が、ガラス系の典型的な特徴である非指数形式をとることも観察する。
論文 参考訳（メタデータ） (2023-09-08T15:24:55Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Decomposed Linear Dynamical Systems (dLDS) for learning the latent
components of neural dynamics [6.829711787905569]
本稿では,時系列データの非定常および非線形の複雑なダイナミクスを表現した新しい分解力学系モデルを提案する。
我々のモデルは辞書学習によって訓練され、最近の結果を利用してスパースベクトルを時間とともに追跡する。
連続時間と離散時間の両方の指導例において、我々のモデルは元のシステムによく近似できることを示した。
論文 参考訳（メタデータ） (2022-06-07T02:25:38Z) - Learning Individual Interactions from Population Dynamics with Discrete-Event Simulation Model [9.827590402695341]
複雑なシステム力学の離散時間シミュレーション表現を学習する可能性について検討する。
この結果から,本アルゴリズムは,意味のあるイベントを持つ複数のフィールドにおいて,複雑なネットワークダイナミクスをデータ効率よくキャプチャできることがわかった。
論文 参考訳（メタデータ） (2022-05-04T21:33:56Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Learning Stable Deep Dynamics Models [91.90131512825504]
状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。
このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
論文 参考訳（メタデータ） (2020-01-17T00:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。