論文の概要: A Deep Dive into the Connections Between the Renormalization Group and
Deep Learning in the Ising Model
- arxiv url: http://arxiv.org/abs/2308.11075v1
- Date: Mon, 21 Aug 2023 22:50:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-23 19:51:21.134339
- Title: A Deep Dive into the Connections Between the Renormalization Group and
Deep Learning in the Ising Model
- Title（参考訳）: アイシングモデルにおける正規化群と深層学習の関連性についての一考察
- Authors: Kelsie Taylor
- Abstract要約: 再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。
本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。
2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The renormalization group (RG) is an essential technique in statistical
physics and quantum field theory, which considers scale-invariant properties of
physical theories and how these theories' parameters change with scaling. Deep
learning is a powerful computational technique that uses multi-layered neural
networks to solve a myriad of complicated problems. Previous research suggests
the possibility that unsupervised deep learning may be a form of RG flow, by
being a layer-by-layer coarse graining of the original data. We examined this
connection on a more rigorous basis for the simple example of Kadanoff block
renormalization of the 2D nearest-neighbor Ising model, with our deep learning
accomplished via Restricted Boltzmann Machines (RBMs). We developed extensive
renormalization techniques for the 1D and 2D Ising model to provide a baseline
for comparison. For the 1D Ising model, we successfully used Adam optimization
on a correlation length loss function to learn the group flow, yielding results
consistent with the analytical model for infinite N. For the 2D Ising model, we
successfully generated Ising model samples using the Wolff algorithm, and
performed the group flow using a quasi-deterministic method, validating these
results by calculating the critical exponent \nu. We then examined RBM learning
of the Ising model layer by layer, finding a blocking structure in the learning
that is qualitatively similar to RG. Lastly, we directly compared the weights
of each layer from the learning to Ising spin renormalization, but found
quantitative inconsistencies for the simple case of nearest-neighbor Ising
models.
- Abstract（参考訳）: 再正規化群 (renormalization group, rg) は、統計物理学および量子場理論において必須の手法であり、物理理論のスケール不変性と、これらの理論のパラメータがスケーリングによってどのように変化するかを考える。
ディープラーニングは、多層ニューラルネットワークを使用して、無数の複雑な問題を解決する強力な計算技術である。
従来の研究では、教師なしディープラーニングは、原データの層間粗粒化によって、RGフローの一形態である可能性が示唆されている。
この関係をより厳密に検討し,2次元近距離イジングモデルのカダノフブロック再正規化の簡単な例として,限定ボルツマンマシン(rbms)による深層学習について検討した。
比較基準となる1Dおよび2Dイジングモデルに対する広範な再正規化手法を開発した。
2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを行い、臨界指数 \nu を計算してこれらの結果を検証する。
次に,Isingモデル層を層単位でRBM学習し,RGと定性的に類似した学習におけるブロック構造を見出した。
最後に、学習からイジングスピン再正規化までの各層の重みを直接比較したが、最も近いイジングモデルの単純な場合の定量的不整合を見出した。
関連論文リスト
- Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。
我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。
また、線形モード接続仮説の欠点についても論じる。
論文 参考訳（メタデータ） (2022-09-11T10:44:27Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Continual Learning of Generative Models with Limited Data: From
Wasserstein-1 Barycenter to Adaptive Coalescence [22.82926450287203]
データと計算能力に制限のあるネットワークエッジノードでは、生成モデルの学習が難しい。
本研究は,生成モデルの連続学習を体系的に最適化するフレームワークの開発を目的とする。
論文 参考訳（メタデータ） (2021-01-22T17:15:39Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳（メタデータ） (2020-11-09T11:02:40Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。