論文の概要: Interpreting convolutional neural networks' low dimensional approximation to quantum spin systems

• arxiv url: http://arxiv.org/abs/2210.00692v1
• Date: Mon, 3 Oct 2022 02:49:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 00:50:19.378485
• Title: Interpreting convolutional neural networks' low dimensional approximation to quantum spin systems
• Title（参考訳）: 畳み込みニューラルネットワークの量子スピン系への低次元近似の解釈
• Authors: Yilong Ju, Shah Saad Alam, Jonathan Minoff, Fabio Anselmi, Han Pu, Ankit Patel
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、量子多体スピンシステムの基底状態を見つけるための変分モンテカルロ法と共に用いられている。 我々は,CNNがスピン系の学習をどのように最適化するかを理論的,実験的に分析し,CNNの低次元近似について検討する。 この結果から、CNNが量子スピンハミルトニアンをどのように近似するかの総合的で改善された理解を得ることができた。
• 参考スコア（独自算出の注目度）: 1.631115063641726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have been employed along with Variational Monte Carlo methods for finding the ground state of quantum many-body spin systems with great success. In order to do so, however, a CNN with only linearly many variational parameters has to circumvent the ``curse of dimensionality'' and successfully approximate a wavefunction on an exponentially large Hilbert space. In our work, we provide a theoretical and experimental analysis of how the CNN optimizes learning for spin systems, and investigate the CNN's low dimensional approximation. We first quantify the role played by physical symmetries of the underlying spin system during training. We incorporate our insights into a new training algorithm and demonstrate its improved efficiency, accuracy and robustness. We then further investigate the CNN's ability to approximate wavefunctions by looking at the entanglement spectrum captured by the size of the convolutional filter. Our insights reveal the CNN to be an ansatz fundamentally centered around the occurrence statistics of $K$-motifs of the input strings. We use this motivation to provide the shallow CNN ansatz with a unifying theoretical interpretation in terms of other well-known statistical and physical ansatzes such as the maximum entropy (MaxEnt) and entangled plaquette correlator product states (EP-CPS). Using regression analysis, we find further relationships between the CNN's approximations of the different motifs' expectation values. Our results allow us to gain a comprehensive, improved understanding of how CNNs successfully approximate quantum spin Hamiltonians and to use that understanding to improve CNN performance.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、変分モンテカルロ法とともに、量子多体スピンシステムの基底状態の発見に大きく成功している。 しかし、線形に多くの変分パラメータしか持たないCNNは、「次元の曲率」を回避し、指数関数的に大きなヒルベルト空間上の波動関数をうまく近似する必要がある。 本研究では,CNNがスピン系の学習をどのように最適化するかを理論的,実験的に分析し,CNNの低次元近似について検討する。 まず、トレーニング中のスピン系の物理的対称性が果たす役割を定量化する。 この知見を新たなトレーニングアルゴリズムに取り入れ,その効率,正確性,堅牢性の向上を実証した。 次に,畳み込みフィルタの大きさで捉えた絡み合いスペクトルを見て,cnnの近似波動関数能力についてさらに検討する。 我々の知見は、CNNが入力文字列の$K$-モチーフの発生統計を基本とするアンザッツであることを明らかにする。 我々はこのモチベーションを用いて、極大エントロピー(MaxEnt)や絡み合ったプラケット相関積状態(EP-CPS)など、他のよく知られた統計的および物理的アンサテイズの観点から、浅いCNNアンサッツに統一的な理論的解釈を与える。 回帰分析を用いて,cnnの近似値と異なるモチーフの期待値との関係を明らかにした。 この結果から、CNNが量子スピンハミルトニアンをどのように近似するかの包括的で改善された理解を得ることができ、その理解を用いてCNNの性能を向上させることができる。

関連論文リスト

• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Forecasting Fold Bifurcations through Physics-Informed Convolutional Neural Networks [0.0]
  本研究では,2次分岐近傍の力学系の時系列を同定する物理インフォームド畳み込みニューラルネットワーク(CNN)を提案する。 CNNは比較的少量のデータと単一の非常に単純なシステムで訓練されている。 同様のタスクは、物理学に基づく情報を利用して得られる、かなりの外挿能力を必要とする。
  論文  参考訳（メタデータ） (2023-12-21T10:07:52Z)
• Continuous approximation by convolutional neural networks with a sigmoidal function [0.0]
  我々は、非重複CNNと呼ばれる畳み込みニューラルネットワーク(CNN)のクラスを提示する。 このようなシグミカルアクティベーション関数を持つネットワークは任意の精度でコンパクトな入力集合上で定義された任意の連続関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-09-27T12:31:36Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Separation of scales and a thermodynamic description of feature learning in some CNNs [2.28438857884398]
  ディープニューラルネットワーク(DNN)は、情報を圧縮して蒸留するための強力なツールである。 このような場合の一般的な戦略は、基礎となる高速顕微鏡変数の不安定な振る舞いを平均化する緩やかな自由度を特定することである。 ここでは,過パラメータ化深層畳み込みニューラルネットワーク(CNN)の訓練終了時に発生するスケールの分離について述べる。 深層学習の熱力学理論は、いくつかの深い非線形CNN玩具モデルに対して正確な予測をもたらす。
  論文  参考訳（メタデータ） (2021-12-31T10:49:55Z)
• Classification of diffraction patterns using a convolutional neural network in single particle imaging experiments performed at X-ray free-electron lasers [53.65540150901678]
  X線自由電子レーザー(XFEL)における単一粒子イメージング(SPI)は、その自然環境における粒子の3次元構造を決定するのに特に適している。 再建を成功させるためには、単一のヒットに由来する回折パターンを多数の取得パターンから分離する必要がある。 本稿では,この課題を画像分類問題として定式化し,畳み込みニューラルネットワーク(CNN)アーキテクチャを用いて解決することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T17:03:14Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• An Information-theoretic Visual Analysis Framework for Convolutional Neural Networks [11.15523311079383]
  CNNモデルから抽出可能なデータを整理するデータモデルを提案する。 次に、異なる状況下でエントロピーを計算する2つの方法を提案する。 我々は,モデル内の情報変化量をインタラクティブに探索する視覚解析システムCNNSlicerを開発した。
  論文  参考訳（メタデータ） (2020-05-02T21:36:50Z)
• What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective [102.37204254403038]
  我々は最適化の観点から、GCPの深いCNNのメリットを理解する試みを行っている。 GCPは最適化のランドスケープをよりスムーズにし、勾配をより予測できることを示す。 多様なタスクに対して様々な深部CNNモデルを用いて広範な実験を行い,その結果を強く支持する。
  論文  参考訳（メタデータ） (2020-03-25T07:00:45Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。