論文の概要: Exploring the Temperature-Dependent Phase Transition in Modern Hopfield
Networks
- arxiv url: http://arxiv.org/abs/2311.18434v1
- Date: Thu, 30 Nov 2023 10:34:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 17:08:55.325745
- Title: Exploring the Temperature-Dependent Phase Transition in Modern Hopfield
Networks
- Title（参考訳）: 近代ホップフィールドネットワークにおける温度依存性相転移の探索
- Authors: Felix Koulischer, C\'edric Goemaere, Tom van der Meersch, Johannes
Deleu, Thomas Demeester
- Abstract要約: トランスフォーマーとモダンホップフィールドネットワークの接続が最近発見されたことで、物理的エネルギーベースの観点からニューラルネットワークの研究が再燃した。
本稿では,MHN のエネルギー最小値分布に対する逆温度ハイパーパラメータ $beta$ のピボット効果に着目した。
- 参考スコア（独自算出の注目度）: 10.44966984792986
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The recent discovery of a connection between Transformers and Modern Hopfield
Networks (MHNs) has reignited the study of neural networks from a physical
energy-based perspective. This paper focuses on the pivotal effect of the
inverse temperature hyperparameter $\beta$ on the distribution of energy minima
of the MHN. To achieve this, the distribution of energy minima is tracked in a
simplified MHN in which equidistant normalised patterns are stored. This
network demonstrates a phase transition at a critical temperature
$\beta_{\text{c}}$, from a single global attractor towards highly pattern
specific minima as $\beta$ is increased. Importantly, the dynamics are not
solely governed by the hyperparameter $\beta$ but are instead determined by an
effective inverse temperature $\beta_{\text{eff}}$ which also depends on the
distribution and size of the stored patterns. Recognizing the role of
hyperparameters in the MHN could, in the future, aid researchers in the domain
of Transformers to optimise their initial choices, potentially reducing the
necessity for time and energy expensive hyperparameter fine-tuning.
- Abstract（参考訳）: トランスフォーマーとモダンホップフィールドネットワーク(MHN)の接続が最近発見されたことで、物理的エネルギーベースの観点からニューラルネットワークの研究が再燃した。
本稿では,mhn のエネルギー最小値分布に対する逆温度ハイパーパラメータ $\beta$ の重要な効果について考察する。
これを実現するため、等価な正規化パターンを記憶した簡易なMHNでエネルギー最小値の分布を追跡する。
このネットワークは、臨界温度である$\beta_{\text{c}}$で相転移を示す。
重要なことに、ダイナミクスはハイパーパラメータ $\beta$ によってのみ制御されるのではなく、格納されたパターンの分布とサイズに依存する効果的な逆温度 $\beta_{\text{eff}}$ によって決定される。
MHNにおけるハイパーパラメータの役割を認識することは、将来、トランスフォーマーの領域の研究者が初期選択を最適化するのを助け、時間とエネルギーのかかる高パラメータの微調整の必要性を減らす可能性がある。
関連論文リスト
- Driven Critical Dynamics in Measurement-induced Phase Transitions [3.1009752388717127]
我々は、従来の量子および古典相のMIPTへの遷移において大きな成功を収めた、キブル・ズレック駆動臨界ダイナミクスを一般化する。
容積法相からの駆動力学がKZ機構の断熱的インパルスシナリオに反することがわかった。
我々は、高速に発展する量子コンピュータで検出できるMIPTに新しい基本的視点をもたらす。
論文 参考訳（メタデータ） (2024-11-11T01:08:14Z) - Optimizing Temperature Distributions for Training Neural Quantum States using Parallel Tempering [0.0]
温度最適化は変分アルゴリズムの成功率を大幅に向上させることができることを示す。
我々はこれを、制限されたボルツマンマシンとフィードフォワードネットワークという2つの異なるニューラルネットワークを用いて実証する。
論文 参考訳（メタデータ） (2024-10-30T13:48:35Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Neural network backflow for ab-initio quantum chemistry [0.0]
ニューラルネットワークのバックフロー波動関数を用いて,分子ハミルトニアンの最先端エネルギーを実現する方法を示す。
私たちが研究した分子では、NNBFはCCSDや他のニューラルネットワーク量子状態よりも低いエネルギー状態を与える。
論文 参考訳（メタデータ） (2024-03-05T19:37:21Z) - Photoinduced prethermal order parameter dynamics in the two-dimensional
large-$N$ Hubbard-Heisenberg model [77.34726150561087]
2次元相関電子モデルにおいて、競合する秩序相の微視的ダイナミクスについて検討する。
2つの競合する位相間の光誘起遷移をシミュレートする。
論文 参考訳（メタデータ） (2022-05-13T13:13:31Z) - Investigating Network Parameters in Neural-Network Quantum States [0.0]
ニューラルネットワークを用いた量子状態表現は強力なツールとして認識され始めている。
最も単純なニューラルネットワークの1つである制限ボルツマンマシン(RBM)を、1次元(1次元)逆場イジング(TFI)モデルの基底状態表現に適用する。
1次元TFIモデルにおける秩序相から乱相への量子相転移は, ニューラルネットワークパラメータの挙動に明らかに反映されている。
論文 参考訳（メタデータ） (2022-02-03T17:13:21Z) - Learning Generative Vision Transformer with Energy-Based Latent Space
for Saliency Prediction [51.80191416661064]
本稿では,有意な物体検出に先立って,潜伏変数を持つ新しい視覚変換器を提案する。
ビジョントランスネットワークとエネルギーベース先行モデルの両方は、マルコフ連鎖モンテカルロによる最大推定を通じて共同で訓練される。
生成型視覚変換器により、画像から容易に画素単位の不確実性マップを得ることができ、画像から唾液濃度を予測するためのモデル信頼度を示す。
論文 参考訳（メタデータ） (2021-12-27T06:04:33Z) - Superradiant phase transition in complex networks [62.997667081978825]
我々はDicke-Isingモデルに対する超ラジアント位相遷移問題を考える。
正規,ランダム,スケールフリーなネットワーク構造について検討する。
論文 参考訳（メタデータ） (2020-12-05T17:40:53Z) - Critical Phenomena in Complex Networks: from Scale-free to Random
Networks [77.34726150561087]
一対のノード間のリンクを制御する隠れ変数を持つ構成ネットワークモデルにおける臨界現象について検討する。
平均ノード次数、期待するエッジ数、ランダウとヘルムホルツの自由エネルギーについて、温度とノード数の関数として解析式を求める。
論文 参考訳（メタデータ） (2020-08-05T18:57:38Z) - Probing eigenstate thermalization in quantum simulators via
fluctuation-dissipation relations [77.34726150561087]
固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。
本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。
我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
論文 参考訳（メタデータ） (2020-07-20T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。