論文の概要: Hierarchical autoregressive neural networks for statistical systems
- arxiv url: http://arxiv.org/abs/2203.10989v1
- Date: Mon, 21 Mar 2022 13:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 21:58:21.393578
- Title: Hierarchical autoregressive neural networks for statistical systems
- Title（参考訳）: 統計システムのための階層的自己回帰ニューラルネットワーク
- Authors: Piotr Bia{\l}as, Piotr Korcyl, Tomasz Stebel
- Abstract要約: 我々は、例えばスピンのような物理的自由度の階層的な結合を、システムの線形範囲$L$のスケーリングに置き換えるニューロンに提案する。
我々は,2次元Isingモデルに対して,最大128×128$スピンの格子をシミュレートし,時間ベンチマークを512×512$の格子に到達させることで,その2次元Isingモデルに対するアプローチを実証した。
- 参考スコア（独自算出の注目度）: 0.05156484100374058
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: It was recently proposed that neural networks could be used to approximate
many-dimensional probability distributions that appear e.g. in lattice field
theories or statistical mechanics. Subsequently they can be used as variational
approximators to asses extensive properties of statistical systems, like free
energy, and also as neural samplers used in Monte Carlo simulations. The
practical application of this approach is unfortunately limited by its
unfavorable scaling both of the numerical cost required for training, and the
memory requirements with the system size. This is due to the fact that the
original proposition involved a neural network of width which scaled with the
total number of degrees of freedom, e.g. $L^2$ in case of a two dimensional
$L\times L$ lattice. In this work we propose a hierarchical association of
physical degrees of freedom, for instance spins, to neurons which replaces it
with the scaling with the linear extent $L$ of the system. We demonstrate our
approach on the two-dimensional Ising model by simulating lattices of various
sizes up to $128 \times 128$ spins, with time benchmarks reaching lattices of
size $512 \times 512$. We observe that our proposal improves the quality of
neural network training, i.e. the approximated probability distribution is
closer to the target that could be previously achieved. As a consequence, the
variational free energy reaches a value closer to its theoretical expectation
and, if applied in a Markov Chain Monte Carlo algorithm, the resulting
autocorrelation time is smaller. Finally, the replacement of a single neural
network by a hierarchy of smaller networks considerably reduces the memory
requirements.
- Abstract（参考訳）: ニューラルネットワークは格子場理論や統計力学などで現れる多次元確率分布を近似するために用いられることが最近提案された。
その後、自由エネルギーのような統計システムの広範な特性を評価する変分近似器や、モンテカルロシミュレーションで使用されるニューラルサンプリング器として用いられる。
このアプローチの実践的応用は残念ながら、トレーニングに必要な数値コストとシステムサイズによるメモリ要求の両方を、好ましくないスケーリングによって制限されている。
これは、2次元の$l\times l$格子の場合の$l^2$のような、自由度の総数でスケールされた幅のニューラルネットワークが元々の命題であったためである。
この研究では、例えばスピンのような物理的自由度の階層的な結合をニューロンに提案し、それをシステムの線形範囲$L$のスケーリングに置き換える。
128 \times 128$ spin までの様々なサイズの格子をシミュレートし、2次元イジングモデルに対する我々のアプローチを実証し、時間ベンチマークが 512 \times 512$ の格子に達することを示した。
我々は,提案手法がニューラルネットワーク学習の質を向上させること,すなわち,推定確率分布が従来達成できた目標に近いことを観察する。
その結果、変分自由エネルギーはその理論的な期待値に近い値に達し、マルコフ連鎖モンテカルロアルゴリズムに適用されると、結果の自己相関時間は小さくなる。
最後に、より小さなネットワークの階層による単一ニューラルネットワークの置換は、メモリ要求を大幅に削減する。
関連論文リスト
- Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。
本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
論文 参考訳（メタデータ） (2024-03-25T19:39:17Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Fast, Distribution-free Predictive Inference for Neural Networks with
Coverage Guarantees [25.798057062452443]
本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。
データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
論文 参考訳（メタデータ） (2023-06-11T04:03:58Z) - Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO
Regularization [15.517787031620864]
LASSOの領域は、ファッショナブルで強力な非線形回帰モデルである2層ReLUニューラルネットワークに拡張される。
LASSO推定器はニューラルネットワークを安定的に再構築し,サンプル数が対数的にスケールする場合に$mathcalSstar$を識別可能であることを示す。
我々の理論は、2層ReLUニューラルネットワークのための拡張Restricted Isometry Property (RIP)ベースの分析フレームワークにある。
論文 参考訳（メタデータ） (2023-05-07T13:05:09Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳（メタデータ） (2023-04-14T09:39:06Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。
その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-22T21:28:00Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。