Fugu-MT 論文翻訳(概要): Neural Networks as Spin Models: From Glass to Hidden Order Through Training

論文の概要: Neural Networks as Spin Models: From Glass to Hidden Order Through Training

arxiv url: http://arxiv.org/abs/2408.06421v1
Date: Mon, 12 Aug 2024 18:01:04 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 19:38:59.932610
Title: Neural Networks as Spin Models: From Glass to Hidden Order Through Training
Title（参考訳）: スピンモデルとしてのニューラルネットワーク:学習を通してガラスから隠れた秩序へ
Authors: Richard Barney, Michael Winer, Victor Galitksi,
Abstract要約: ニューラルネットワーク(NN)と統計力学的スピンモデルとの1対1対応について検討する。トレーニングが進むにつれて, 磁気相と融解遷移温度について検討する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We explore a one-to-one correspondence between a neural network (NN) and a statistical mechanical spin model where neurons are mapped to Ising spins and weights to spin-spin couplings. The process of training an NN produces a family of spin Hamiltonians parameterized by training time. We study the magnetic phases and the melting transition temperature as training progresses. First, we prove analytically that the common initial state before training--an NN with independent random weights--maps to a layered version of the classical Sherrington-Kirkpatrick spin glass exhibiting a replica symmetry breaking. The spin-glass-to-paramagnet transition temperature is calculated. Further, we use the Thouless-Anderson-Palmer (TAP) equations--a theoretical technique to analyze the landscape of energy minima of random systems--to determine the evolution of the magnetic phases on two types of NNs (one with continuous and one with binarized activations) trained on the MNIST dataset. The two NN types give rise to similar results, showing a quick destruction of the spin glass and the appearance of a phase with a hidden order, whose melting transition temperature $T_c$ grows as a power law in training time. We also discuss the properties of the spectrum of the spin system's bond matrix in the context of rich vs. lazy learning. We suggest that this statistical mechanical view of NNs provides a useful unifying perspective on the training process, which can be viewed as selecting and strengthening a symmetry-broken state associated with the training task.
Abstract（参考訳）: ニューラルネットワーク(NN)と統計力学的スピンモデルとの1対1の対応について検討し、ニューロンをイジングスピンにマッピングし、重みをスピンスピン結合にマッピングする。 NNのトレーニングプロセスは、トレーニング時間によってパラメータ化されたスピンハミルトンの族を生成する。トレーニングが進むにつれて, 磁気相と融解遷移温度について検討する。まず,従来のシェリントン・カークパトリック・スピングラスの層状版にマップしたNNが,レプリカ対称性の破れを示すことを解析的に証明した。スピングラス-パラ磁性遷移温度を算出する。さらに、Thouless-Anderson-Palmer(TAP)方程式を用いて、MNISTデータセットで訓練された2種類のNN上の磁気位相の進化を決定する。 2つのNN型は同様の結果をもたらし、スピンガラスの高速破壊と、溶融遷移温度$T_c$がトレーニング時間におけるパワー則として成長する隠蔽秩序の相の出現を示す。また、スピン系の結合行列のスペクトルの性質を、リッチ対遅延学習の文脈で論じる。 NNのこの統計的機械的視点は、トレーニングプロセスにおいて有用な統一的な視点を提供し、トレーニングタスクに関連する対称性破壊状態の選択と強化とみなすことができることを示唆する。

関連論文リスト

Speak so a physicist can understand you! TetrisCNN for detecting phase transitions and order parameters [3.669506968635671]
TetrisCNNは並列ブランチを持つ畳み込みNNであり、異なるカーネルを使用してスピンシステムの位相を検出する。テトリスCNNは2次元イジングゲージ理論の例を用いて,より複雑な順序パラメータを検出可能であることを示す。この研究は、NNと量子シミュレータを統合することで、新しいエキゾチックな物質相の研究につながる可能性がある。
論文参考訳（メタデータ） (2024-11-04T16:30:58Z)
Fourier Neural Operators for Learning Dynamics in Quantum Spin Systems [77.88054335119074]
ランダム量子スピン系の進化をモデル化するためにFNOを用いる。量子波動関数全体の2n$の代わりに、コンパクトなハミルトン観測可能集合にFNOを適用する。
論文参考訳（メタデータ） (2024-09-05T07:18:09Z)
SpinMultiNet: Neural Network Potential Incorporating Spin Degrees of Freedom with Multi-Task Learning [0.0]
本研究では、マルチタスク学習を通じてスピン自由度を統合する新しいNNPモデルであるSpinMultiNetを紹介する。 SpinMultiNetはDFT計算から得られた正しいスピン値に頼ることなく正確な予測を行う。遷移金属酸化物のデータセット上での検証は、SpinMultiNetの高い予測精度を示す。
論文参考訳（メタデータ） (2024-09-05T05:13:28Z)
Neural network approach to quasiparticle dispersions in doped antiferromagnets [0.0]
異なる1次元および2次元格子上でのボソニックおよびフェルミオンの$t-J$モデルを表現する神経量子状態の能力について検討する。本稿では,ニューラルネットワークの状態表現から分散関係を計算する手法を提案する。
論文参考訳（メタデータ） (2023-10-12T17:59:33Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Machine learning in and out of equilibrium [58.88325379746631]
我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
論文参考訳（メタデータ） (2023-06-06T09:12:49Z)
General time-reversal equivariant neural network potential for magnetic materials [5.334610924852583]
本研究では、時間反転E(3)同変ニューラルネットワークと、磁気システムに対する包括的な原子間ポテンシャルを構築するためのSpinGNN++フレームワークを提案する。 SpinGNN++はスピン同変ニューラルネットワークを、ハイゼンベルク、ジアロシンスキー・モリヤ、キタエフ、単一イオン異方性、バイカドラル相互作用を含む明示的なスピン格子項と統合する。 SpinGNN++は単層CrTe2の基底磁気状態として新しい強磁性状態を認識する。
論文参考訳（メタデータ） (2022-11-21T12:25:58Z)
Visualizing spinon Fermi surfaces with time-dependent spectroscopy [62.997667081978825]
固体系において確立されたツールである時間依存性光電子分光法を低温原子量子シミュレーターに応用することを提案する。 1次元の$t-J$モデルの正確な対角化シミュレーションで、スピノンが非占有状態の効率的なバンド構造に出現し始めることを示す。ポンプパルス後のスペクトル関数の依存性はスピノン間の集団的相互作用を明らかにする。
論文参考訳（メタデータ） (2021-05-27T18:00:02Z)
Ab initio Ultrafast Spin Dynamics in Solids [0.7874708385247353]
一般固体系の超高速スピンダイナミクスをシミュレートするために,リンドブラッド力学に基づく第一原理実時間密度行列法を提案する。電子電子散乱は室温では無視できるが、n型GaAsのスピン緩和のために低温では支配的になる。
論文参考訳（メタデータ） (2020-12-16T02:49:47Z)
Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
論文参考訳（メタデータ） (2020-05-08T16:15:47Z)
Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
論文参考訳（メタデータ） (2020-04-09T17:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。