論文の概要: Exploring the Temperature-Dependent Phase Transition in Modern Hopfield
Networks
- arxiv url: http://arxiv.org/abs/2311.18434v1
- Date: Thu, 30 Nov 2023 10:34:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 17:08:55.325745
- Title: Exploring the Temperature-Dependent Phase Transition in Modern Hopfield
Networks
- Title(参考訳): 近代ホップフィールドネットワークにおける温度依存性相転移の探索
- Authors: Felix Koulischer, C\'edric Goemaere, Tom van der Meersch, Johannes
Deleu, Thomas Demeester
- Abstract要約: トランスフォーマーとモダンホップフィールドネットワークの接続が最近発見されたことで、物理的エネルギーベースの観点からニューラルネットワークの研究が再燃した。
本稿では,MHN のエネルギー最小値分布に対する逆温度ハイパーパラメータ $beta$ のピボット効果に着目した。
- 参考スコア(独自算出の注目度): 10.44966984792986
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The recent discovery of a connection between Transformers and Modern Hopfield
Networks (MHNs) has reignited the study of neural networks from a physical
energy-based perspective. This paper focuses on the pivotal effect of the
inverse temperature hyperparameter $\beta$ on the distribution of energy minima
of the MHN. To achieve this, the distribution of energy minima is tracked in a
simplified MHN in which equidistant normalised patterns are stored. This
network demonstrates a phase transition at a critical temperature
$\beta_{\text{c}}$, from a single global attractor towards highly pattern
specific minima as $\beta$ is increased. Importantly, the dynamics are not
solely governed by the hyperparameter $\beta$ but are instead determined by an
effective inverse temperature $\beta_{\text{eff}}$ which also depends on the
distribution and size of the stored patterns. Recognizing the role of
hyperparameters in the MHN could, in the future, aid researchers in the domain
of Transformers to optimise their initial choices, potentially reducing the
necessity for time and energy expensive hyperparameter fine-tuning.
- Abstract(参考訳): トランスフォーマーとモダンホップフィールドネットワーク(MHN)の接続が最近発見されたことで、物理的エネルギーベースの観点からニューラルネットワークの研究が再燃した。
本稿では,mhn のエネルギー最小値分布に対する逆温度ハイパーパラメータ $\beta$ の重要な効果について考察する。
これを実現するため、等価な正規化パターンを記憶した簡易なMHNでエネルギー最小値の分布を追跡する。
このネットワークは、臨界温度である$\beta_{\text{c}}$で相転移を示す。
重要なことに、ダイナミクスはハイパーパラメータ $\beta$ によってのみ制御されるのではなく、格納されたパターンの分布とサイズに依存する効果的な逆温度 $\beta_{\text{eff}}$ によって決定される。
MHNにおけるハイパーパラメータの役割を認識することは、将来、トランスフォーマーの領域の研究者が初期選択を最適化するのを助け、時間とエネルギーのかかる高パラメータの微調整の必要性を減らす可能性がある。
関連論文リスト
- Neural network backflow for ab-initio quantum chemistry [0.0]
ニューラルネットワークのバックフロー波動関数を用いて,分子ハミルトニアンの最先端エネルギーを実現する方法を示す。
私たちが研究した分子では、NNBFはCCSDや他のニューラルネットワーク量子状態よりも低いエネルギー状態を与える。
論文 参考訳(メタデータ) (2024-03-05T19:37:21Z) - Geometric Dynamics of Signal Propagation Predict Trainability of
Transformers [22.25628914395565]
深部変圧器における前方信号伝搬と勾配バック伝搬について検討する。
我々のアプローチは、変換器層を通して伝播する$nトークンの進化を扱う。
実験を通して、トレーニング終了時の最終的なテスト損失は、これらの2つの指数だけで十分に予測されていることを示す。
論文 参考訳(メタデータ) (2024-03-05T01:30:34Z) - Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and
Scaling Limit [48.291961660957384]
我々は,畳み込み型ResNetやVision Transformersなどの残余アーキテクチャが,幅と深さにまたがる最適なハイパーパラメータの転送を示すことを示す実験を行った。
ニューラルネットワーク学習力学の動的平均場理論(DMFT)記述の最近の発展から、このResNetsのパラメータ化は、無限幅および無限深度制限で明確に定義された特徴学習を許容することを示す。
論文 参考訳(メタデータ) (2023-09-28T17:20:50Z) - Photoinduced prethermal order parameter dynamics in the two-dimensional
large-$N$ Hubbard-Heisenberg model [77.34726150561087]
2次元相関電子モデルにおいて、競合する秩序相の微視的ダイナミクスについて検討する。
2つの競合する位相間の光誘起遷移をシミュレートする。
論文 参考訳(メタデータ) (2022-05-13T13:13:31Z) - Investigating Network Parameters in Neural-Network Quantum States [0.0]
ニューラルネットワークを用いた量子状態表現は強力なツールとして認識され始めている。
最も単純なニューラルネットワークの1つである制限ボルツマンマシン(RBM)を、1次元(1次元)逆場イジング(TFI)モデルの基底状態表現に適用する。
1次元TFIモデルにおける秩序相から乱相への量子相転移は, ニューラルネットワークパラメータの挙動に明らかに反映されている。
論文 参考訳(メタデータ) (2022-02-03T17:13:21Z) - Learning Generative Vision Transformer with Energy-Based Latent Space
for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。
ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。
生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文 参考訳(メタデータ) (2021-12-27T06:04:33Z) - Fate of Majorana zero modes by a modified real-space-Pfaffian method and
mobility edges in a one-dimensional quasiperiodic lattice [8.249165772349125]
準周期のオンサイト電位を持つ1次元$p$波超伝導体について検討する。
我々は、拡張された$p$-waveペアリングと局所化された準不整合との競合から生じるモビリティエッジが存在することを数値的に見出した。
論文 参考訳(メタデータ) (2021-02-01T10:05:34Z) - Superradiant phase transition in complex networks [62.997667081978825]
我々はDicke-Isingモデルに対する超ラジアント位相遷移問題を考える。
正規,ランダム,スケールフリーなネットワーク構造について検討する。
論文 参考訳(メタデータ) (2020-12-05T17:40:53Z) - Critical Phenomena in Complex Networks: from Scale-free to Random
Networks [77.34726150561087]
一対のノード間のリンクを制御する隠れ変数を持つ構成ネットワークモデルにおける臨界現象について検討する。
平均ノード次数、期待するエッジ数、ランダウとヘルムホルツの自由エネルギーについて、温度とノード数の関数として解析式を求める。
論文 参考訳(メタデータ) (2020-08-05T18:57:38Z) - Probing eigenstate thermalization in quantum simulators via
fluctuation-dissipation relations [77.34726150561087]
固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。
本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。
我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
論文 参考訳(メタデータ) (2020-07-20T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。