論文の概要: p-Adic Statistical Field Theory and Deep Belief Networks

• arxiv url: http://arxiv.org/abs/2207.13877v1
• Date: Thu, 28 Jul 2022 04:04:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-29 13:02:09.841107
• Title: p-Adic Statistical Field Theory and Deep Belief Networks
• Title（参考訳）: p-進統計場理論と深層信念ネットワーク
• Authors: W. A. Z\'u\~niga-Galindo
• Abstract要約: 一般に、$p$進時空上の場の理論は厳密な方法で定式化することができる。 これらの理論は、深い信念ネットワーク(DBN)と深く結びついていることを示す。 このアプローチでは、$p$進 SFT は$p$進連続 DBN に対応し、この理論の離散化は$p$進離散 DBN に対応する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we initiate the study of the correspondence between $p$-adic statistical field theories (SFTs) and neural networks (NNs). In general quantum field theories over a $p$-adic spacetime can be formulated in a rigorous way. Nowadays these theories are considered just mathematical toy models for understanding the problems of the true theories. In this work we show these theories are deeply connected with the deep belief networks (DBNs). Hinton et al. constructed DBNs by stacking several restricted Boltzmann machines (RBMs). The purpose of this construction is to obtain a network with a hierarchical structure (a deep learning architecture). An RBM corresponds a certain spin glass, thus a DBN should correspond to an ultrametric (hierarchical) spin glass. A model of such system can be easily constructed by using $p$-adic numbers. In our approach, a $p$-adic SFT corresponds to a $p$-adic continuous DBN, and a discretization of this theory corresponds to a $p$-adic discrete DBN. We show that these last machines are universal approximators. In the $p$-adic framework, the correspondence between SFTs and NNs is not fully developed. We point out several open problems.
• Abstract（参考訳）: 本研究では,$p$-adic 統計場理論 (sfts) とニューラルネットワーク (nns) の対応についての研究を開始する。 p$-進時空上の一般量子場理論では、厳密な方法で定式化することができる。 今日では、これらの理論は、真の理論の問題を理解するための数学的なおもちゃのモデルであると考えられている。 本研究では、これらの理論が深信ネットワーク(DBN)と深く結びついていることを示す。 Hintonらはいくつかの制限されたボルツマンマシン(RBM)を積み重ねてDBNを構築した。 この構築の目的は、階層構造(ディープラーニングアーキテクチャ)を持つネットワークを得ることである。 RBMは特定のスピングラスに対応するので、DBNは超測度(階層)スピングラスに対応するべきである。 このようなシステムのモデルは$p$-進数を使って簡単に構成できる。 このアプローチでは、$p$進 SFT は$p$進連続 DBN に対応し、この理論の離散化は$p$進離散 DBN に対応する。 これらの最後の機械は普遍近似器であることを示す。 p$-adicフレームワークでは、SFTとNNの対応が完全には開発されていない。 我々はいくつかのオープンな問題を指摘した。

関連論文リスト

• The Quantified Boolean Bayesian Network: Theory and Experiments with a Logical Graphical Model [0.0]
  確率的ネットワークが人間の言語の基礎となる論理的理由を表現するためにどのように構成できるかを示す。 推論では,収束が保証されていないLoopy Belief Propagation (LBP) の使用について検討する。 我々の実験は、LBPが実際に非常に確実に収束していることを示し、我々の分析は、LBPのラウンドが、考慮される変数の数を$N$で制限する時間(O(N2n)$)を必要とすることを示している。
  論文  参考訳（メタデータ） (2024-02-09T17:15:45Z)
• Jaynes Machine: The universal microstructure of deep neural networks [0.9086679566009702]
  我々は、ディープニューラルネットワークの高結合層はすべて、対数正規分布(LN(mu, sigma)$)の接続強度の普遍的なミクロ構造を持つと予測する。 理想的な条件下では、$mu$と$sigma$は全てのネットワークのすべての層で同じである。
  論文  参考訳（メタデータ） (2023-10-10T19:22:01Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• Neural Network Field Theories: Non-Gaussianity, Actions, and Locality [0.0]
  場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。 1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
  論文  参考訳（メタデータ） (2023-07-06T18:00:01Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Spatially heterogeneous learning by a deep student machine [0.0]
  多数の調整可能なパラメータを持つディープニューラルネットワーク(DNN)は、ほとんどブラックボックスのままである。 我々は,教師学生設定と呼ばれる統計力学手法を用いて,NL$パーセプトロンと$c$入力からなるDNNと深度$L$の教師学習について検討した。 N gg c gg 1$ and $M gg 1$ with fixed $alpha=M/c$ using the replica method developed in (H. Yoshino,)
  論文  参考訳（メタデータ） (2023-02-15T01:09:03Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Quantum field-theoretic machine learning [0.0]
  我々は、$phi4$スカラー場理論をマルコフ確率場の数学的に厳密な枠組み内の機械学習アルゴリズムとして再考する。 ニューラルネットワークはまた、従来のニューラルネットワークの一般化と見なせる$phi4$理論から派生している。
  論文  参考訳（メタデータ） (2021-02-18T16:12:51Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。