論文の概要: Neural annealing and visualization of autoregressive neural networks in the Newman-Moore model

• arxiv url: http://arxiv.org/abs/2204.11272v1
• Date: Sun, 24 Apr 2022 13:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 20:15:39.983586
• Title: Neural annealing and visualization of autoregressive neural networks in the Newman-Moore model
• Title（参考訳）: newman-mooreモデルにおける自己回帰ニューラルネットのニューラルアニーリングと可視化
• Authors: Estelle M. Inack, Stewart Morawetz and Roger G. Melko
• Abstract要約: ニューマン・ムーアモデルで示されるガラス力学は, トレーニング可能性の問題や, 最適化環境におけるモード崩壊などを通じて, 自在に現れる可能性が示唆された。 これらの結果から, フラクトン励起の存在によるニューマン・ムーアモデルによるガラス力学は, トレーニング可能性の問題や最適化景観のモード崩壊によって, 自分自身に現れる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.45119235878273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks have been widely adopted as ansatzes to study classical and quantum systems. However, some notably hard systems such as those exhibiting glassiness and frustration have mainly achieved unsatisfactory results despite their representational power and entanglement content, thus, suggesting a potential conservation of computational complexity in the learning process. We explore this possibility by implementing the neural annealing method with autoregressive neural networks on a model that exhibits glassy and fractal dynamics: the two-dimensional Newman-Moore model on a triangular lattice. We find that the annealing dynamics is globally unstable because of highly chaotic loss landscapes. Furthermore, even when the correct ground state energy is found, the neural network generally cannot find degenerate ground-state configurations due to mode collapse. These findings indicate that the glassy dynamics exhibited by the Newman-Moore model caused by the presence of fracton excitations in the configurational space likely manifests itself through trainability issues and mode collapse in the optimization landscape.
• Abstract（参考訳）: ニューラルネットワークは古典系や量子系の研究に広く採用されている。 しかし、ガラス性やフラストレーションを示すような難解なシステムの中には、表現力や絡み合いの内容にもかかわらず、主に満足のいく結果を得たものもあり、学習過程における計算複雑性の保存の可能性を示している。 三角格子上の2次元ニューマン・ムーアモデルであるガラスおよびフラクタルダイナミクスを示すモデル上に,自己回帰ニューラルネットワークを用いたニューラルアニーリング法を実装することで,この可能性を探る。 熱力学は、非常にカオス的なロスランドスケープのため、全世界的に不安定であることがわかった。 さらに、正しい基底状態エネルギーが検出されたとしても、一般にニューラルネットワークはモード崩壊による縮退基底状態配置を見出すことができない。 これらの結果から, フラクトン励起の存在によるニューマン・ムーアモデルによるガラスのダイナミクスは, トレーニング可能性の問題や最適化景観のモード崩壊によって, 発現する可能性が示唆された。

関連論文リスト

• Harnessing and modulating chaos to sample from neural generative models [2.048226951354646]
  我々は、脳が生成モデルから学習し、サンプルすることを可能にする上で、神経カオスがどのように機能的な役割を果たすかを示す。 我々は、古典的なニューラルカオスモデルと標準生成モデリングアーキテクチャ、あるいはニューラルメモリのエネルギーベースモデルを組み合わせたアーキテクチャを構築する。
  論文  参考訳（メタデータ） (2024-09-26T22:52:26Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Explosive neural networks via higher-order interactions in curved statistical manifolds [43.496401697112695]
  我々は、高次現象を研究するためのプロトタイプモデルのクラスとして、曲面ニューラルネットワークを紹介した。 これらの曲線ニューラルネットワークは、メモリ検索を高速化する自己制御プロセスを実装している。
  論文  参考訳（メタデータ） (2024-08-05T09:10:29Z)
• Exploiting Chaotic Dynamics as Deep Neural Networks [1.9282110216621833]
  カオスの本質は、様々な最先端のディープニューラルネットワークで見ることができる。 本フレームワークは精度,収束速度,効率の点で優れた結果を提示する。 この研究は、情報処理において長い間見過ごされてきたカオスの統合のための新しい道を提供する。
  論文  参考訳（メタデータ） (2024-05-29T22:03:23Z)
• NeuralClothSim: Neural Deformation Fields Meet the Thin Shell Theory [70.10550467873499]
  薄型シェルを用いた新しい擬似布シミュレータであるNeuralClothSimを提案する。 メモリ効率の高い解法はニューラル変形場と呼ばれる新しい連続座標に基づく表面表現を演算する。
  論文  参考訳（メタデータ） (2023-08-24T17:59:54Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Learning the ground state of a non-stoquastic quantum Hamiltonian in a rugged neural network landscape [0.0]
  ニューラルネットワークに基づく普遍的変動波動関数のクラスについて検討する。 特に,本稿では,ニューラルネットワークの表現率とモンテカルロサンプリングが一次制限因子ではないことを示す。
  論文  参考訳（メタデータ） (2020-11-23T05:25:47Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Sobolev training of thermodynamic-informed neural networks for smoothed elasto-plasticity models with level set hardening [0.0]
  本研究では, 可視成分を用いた平滑な弾塑性モデルの学習を目的としたディープラーニングフレームワークを提案する。 収率関数を進化レベル集合として再キャストすることにより、ハミルトン・ヤコビ方程式の解を予測する機械学習手法を導入する。
  論文  参考訳（メタデータ） (2020-10-15T22:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。