論文の概要: A connection between probability, physics and neural networks

• arxiv url: http://arxiv.org/abs/2209.12737v1
• Date: Mon, 26 Sep 2022 14:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 15:39:05.013921
• Title: A connection between probability, physics and neural networks
• Title（参考訳）: 確率と物理学とニューラルネットワークの関係
• Authors: Sascha Ranftl
• Abstract要約: 本稿では,プライオリが物理法則に従うニューラルネットワーク構築に活用できるアプローチについて説明する。 まず、単純な単層ニューラルネットワーク(NN)から始めるが、アクティベーション関数の選択は控える。 この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We illustrate an approach that can be exploited for constructing neural networks which a priori obey physical laws. We start with a simple single-layer neural network (NN) but refrain from choosing the activation functions yet. Under certain conditions and in the infinite-width limit, we may apply the central limit theorem, upon which the NN output becomes Gaussian. We may then investigate and manipulate the limit network by falling back on Gaussian process (GP) theory. It is observed that linear operators acting upon a GP again yield a GP. This also holds true for differential operators defining differential equations and describing physical laws. If we demand the GP, or equivalently the limit network, to obey the physical law, then this yields an equation for the covariance function or kernel of the GP, whose solution equivalently constrains the model to obey the physical law. The central limit theorem then suggests that NNs can be constructed to obey a physical law by choosing the activation functions such that they match a particular kernel in the infinite-width limit. The activation functions constructed in this way guarantee the NN to a priori obey the physics, up to the approximation error of non-infinite network width. Simple examples of the homogeneous 1D-Helmholtz equation are discussed and compared to naive kernels and activations.
• Abstract（参考訳）: 本稿では,先行研究が物理法則に従うニューラルネットワークの構築に活用可能なアプローチについて述べる。 まず、単純な単層ニューラルネットワーク(nn)から始めるが、まだアクティベーション関数の選択は控える。 ある条件と無限幅極限の下では、NNの出力がガウスとなる中心極限定理を適用することができる。 次に、ガウス過程(gp)理論にフォールバックすることで極限ネットワークを調査して操作する。 GP に作用する線型作用素が再び GP を生成することが観察される。 これは微分方程式を定義し、物理法則を記述する微分作用素にも当てはまる。 GP が物理的法則に従うことを要求した場合、この方程式は GP の共分散関数や核の方程式となり、その解は物理法則に従うために同値にモデルを制約する。 中心極限定理は、NNが無限幅極限の特定のカーネルと一致するような活性化関数を選択することによって、物理法則に従うように構築可能であることを示唆する。 この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。 均一な1D-ヘルムホルツ方程式の簡単な例を議論し、単純核や活性化と比較する。

関連論文リスト

• Numerical Approximation Capacity of Neural Networks with Bounded Parameters: Do Limits Exist, and How Can They Be Measured? [4.878983382452911]
  普遍近似は理論的には実現可能であるが,現実的な数値シナリオでは,Deep Neural Networks (DNN) は有限次元ベクトル空間でしか近似できない。 ネットワークの系列の近似能力限界を定量化するために、textit$epsilon$ outer measure と textitNumerical Span Dimension (NSdim) の概念を導入する。
  論文  参考訳（メタデータ） (2024-09-25T07:43:48Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• Small-time controllability for the nonlinear Schr\"odinger equation on $\mathbb{R}^N$ via bilinear electromagnetic fields [55.2480439325792]
  非線形シュラー・オーディンガー方程式(NLS)の磁場および電場の存在下での最小時間制御可能性問題に対処する。 詳細は、十分に大きな制御信号によって、所望の速度で(NLS)のダイナミクスを制御できる時期について調べる。
  論文  参考訳（メタデータ） (2023-07-28T21:30:44Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Neural Network Field Theories: Non-Gaussianity, Actions, and Locality [0.0]
  場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。 1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
  論文  参考訳（メタデータ） (2023-07-06T18:00:01Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Nonperturbative renormalization for the neural network-QFT correspondence [0.0]
  この文脈で局所性とパワーカウンティングの概念を考察する。 Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。 我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
  論文  参考訳（メタデータ） (2021-08-03T10:36:04Z)
• Neural Networks and Quantum Field Theory [0.0]
  我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。 この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
  論文  参考訳（メタデータ） (2020-08-19T18:00:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。