論文の概要: A connection between probability, physics and neural networks
- arxiv url: http://arxiv.org/abs/2209.12737v1
- Date: Mon, 26 Sep 2022 14:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 15:39:05.013921
- Title: A connection between probability, physics and neural networks
- Title(参考訳): 確率と物理学とニューラルネットワークの関係
- Authors: Sascha Ranftl
- Abstract要約: 本稿では,プライオリが物理法則に従うニューラルネットワーク構築に活用できるアプローチについて説明する。
まず、単純な単層ニューラルネットワーク(NN)から始めるが、アクティベーション関数の選択は控える。
この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We illustrate an approach that can be exploited for constructing neural
networks which a priori obey physical laws. We start with a simple single-layer
neural network (NN) but refrain from choosing the activation functions yet.
Under certain conditions and in the infinite-width limit, we may apply the
central limit theorem, upon which the NN output becomes Gaussian. We may then
investigate and manipulate the limit network by falling back on Gaussian
process (GP) theory. It is observed that linear operators acting upon a GP
again yield a GP. This also holds true for differential operators defining
differential equations and describing physical laws. If we demand the GP, or
equivalently the limit network, to obey the physical law, then this yields an
equation for the covariance function or kernel of the GP, whose solution
equivalently constrains the model to obey the physical law. The central limit
theorem then suggests that NNs can be constructed to obey a physical law by
choosing the activation functions such that they match a particular kernel in
the infinite-width limit. The activation functions constructed in this way
guarantee the NN to a priori obey the physics, up to the approximation error of
non-infinite network width. Simple examples of the homogeneous 1D-Helmholtz
equation are discussed and compared to naive kernels and activations.
- Abstract(参考訳): 本稿では,先行研究が物理法則に従うニューラルネットワークの構築に活用可能なアプローチについて述べる。
まず、単純な単層ニューラルネットワーク(nn)から始めるが、まだアクティベーション関数の選択は控える。
ある条件と無限幅極限の下では、NNの出力がガウスとなる中心極限定理を適用することができる。
次に、ガウス過程(gp)理論にフォールバックすることで極限ネットワークを調査して操作する。
GP に作用する線型作用素が再び GP を生成することが観察される。
これは微分方程式を定義し、物理法則を記述する微分作用素にも当てはまる。
GP が物理的法則に従うことを要求した場合、この方程式は GP の共分散関数や核の方程式となり、その解は物理法則に従うために同値にモデルを制約する。
中心極限定理は、NNが無限幅極限の特定のカーネルと一致するような活性化関数を選択することによって、物理法則に従うように構築可能であることを示唆する。
この方法で構築されたアクティベーション関数は、非無限ネットワーク幅の近似誤差まで、NNを物理に従わないように保証する。
均一な1D-ヘルムホルツ方程式の簡単な例を議論し、単純核や活性化と比較する。
関連論文リスト
- Small-time controllability for the nonlinear Schr\"odinger equation on
$\mathbb{R}^N$ via bilinear electromagnetic fields [55.2480439325792]
非線形シュラー・オーディンガー方程式(NLS)の磁場および電場の存在下での最小時間制御可能性問題に対処する。
詳細は、十分に大きな制御信号によって、所望の速度で(NLS)のダイナミクスを制御できる時期について調べる。
論文 参考訳(メタデータ) (2023-07-28T21:30:44Z) - Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。
線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。
NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文 参考訳(メタデータ) (2023-07-27T06:59:46Z) - Neural Network Field Theories: Non-Gaussianity, Actions, and Locality [0.0]
場の理論における経路積分測度とニューラルネットワークのアンサンブルは、関数上の分布を記述する。
1/N$の拡張は、場の理論における相互作用に対応するが、ネットワークパラメータの統計的独立性の小さな破れなど、相互作用する理論にも繋がる。
論文 参考訳(メタデータ) (2023-07-06T18:00:01Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-04-27T17:42:24Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。
入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。
我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
論文 参考訳(メタデータ) (2022-10-13T09:01:58Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Nonperturbative renormalization for the neural network-QFT
correspondence [0.0]
この文脈で局所性とパワーカウンティングの概念を考察する。
Wetterich-Morris方程式を用いて非摂動的再正規化群を解析する。
我々の目的は、大きな幅の限界を超えたニューラルネットワークの振る舞いを調査するための有用なフォーマリズムを提供することである。
論文 参考訳(メタデータ) (2021-08-03T10:36:04Z) - Approximation of BV functions by neural networks: A regularity theory
approach [0.0]
我々は、単位円上にReLU活性化関数を持つ単一の隠れ層ニューラルネットワークによる関数の近似を懸念する。
まず,ペナリゼーションを伴うコスト関数に関連する勾配流の平衡への収束について検討した。
ペナリゼーションが有界な重みをバイアスするので、有界な重みを持つネットワークが有界な変動の与えられた関数をいかによく近似できるかを研究できる。
論文 参考訳(メタデータ) (2020-12-15T13:58:44Z) - Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文 参考訳(メタデータ) (2020-08-19T18:00:06Z) - Predicting the outputs of finite deep neural networks trained with noisy
gradients [1.1470070927586014]
広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ
本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。
その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
論文 参考訳(メタデータ) (2020-04-02T18:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。