論文の概要: Bayesian RG Flow in Neural Network Field Theories

• arxiv url: http://arxiv.org/abs/2405.17538v2
• Date: Fri, 08 Nov 2024 05:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:51:55.447212
• Title: Bayesian RG Flow in Neural Network Field Theories
• Title（参考訳）: ニューラルネットワーク場理論におけるベイズRG流れ
• Authors: Jessica N. Howard, Marc S. Klinger, Anindita Maiti, Alexander G. Stapleton,
• Abstract要約: ニューラルネットワーク場理論対応(NNFT)は、ニューラルネットワーク(NN)アーキテクチャから統計場理論(SFT)の空間へのマッピングである。 我々は、NNとSFTの空間を探索する強力な新しいフレームワークを形成するためにBRG-NNFTを作成した。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License:
• Abstract: The Neural Network Field Theory correspondence (NNFT) is a mapping from neural network (NN) architectures into the space of statistical field theories (SFTs). The Bayesian renormalization group (BRG) is an information-theoretic coarse graining scheme that generalizes the principles of the exact renormalization group (ERG) to arbitrarily parameterized probability distributions, including those of NNs. In BRG, coarse graining is performed in parameter space with respect to an information-theoretic distinguishability scale set by the Fisher information metric. In this paper, we unify NNFT and BRG to form a powerful new framework for exploring the space of NNs and SFTs, which we coin BRG-NNFT. With BRG-NNFT, NN training dynamics can be interpreted as inducing a flow in the space of SFTs from the information-theoretic `IR' $\rightarrow$ `UV'. Conversely, applying an information-shell coarse graining to the trained network's parameters induces a flow in the space of SFTs from the information-theoretic `UV' $\rightarrow$ `IR'. When the information-theoretic cutoff scale coincides with a standard momentum scale, BRG is equivalent to ERG. We demonstrate the BRG-NNFT correspondence on two analytically tractable examples. First, we construct BRG flows for trained, infinite-width NNs, of arbitrary depth, with generic activation functions. As a special case, we then restrict to architectures with a single infinitely-wide layer, scalar outputs, and generalized cos-net activations. In this case, we show that BRG coarse-graining corresponds exactly to the momentum-shell ERG flow of a free scalar SFT. Our analytic results are corroborated by a numerical experiment in which an ensemble of asymptotically wide NNs are trained and subsequently renormalized using an information-shell BRG scheme.
• Abstract（参考訳）: ニューラルネットワーク場理論対応(NNFT)は、ニューラルネットワーク(NN)アーキテクチャから統計場理論(SFT)の空間へのマッピングである。 ベイズ再正規化群(英: Bayesian renormalization group, BRG)は、正確な再正規化群(ERG)の原理をNNを含む任意のパラメータ化された確率分布に一般化する情報理論的粗粒化スキームである。 BRGでは、フィッシャー情報計量によって設定された情報理論の識別可能性尺度に対して、パラメータ空間で粗粒化を行う。 本稿では,NNFT と BRG を統一して,NN と SFT の空間を探索する強力なフレームワークを構築し,BRG-NNFT を造語する。 BRG-NNFTでは、NNトレーニングダイナミクスは情報理論 `IR' $\rightarrow$ `UV' から SFT 空間の流れを誘導するものとして解釈することができる。 逆に、トレーニングネットワークのパラメータに情報シェル粗粒化を適用すると、情報理論の `UV' $\rightarrow$ `IR' から SFT 空間内のフローが誘導される。 情報理論のカットオフスケールが標準運動量スケールと一致する場合、BRGはERGと等価である。 BRG-NNFT対応を解析的に抽出可能な2つの例で示す。 まず、任意の深さの訓練された無限幅NNに対して、一般的なアクティベーション関数を用いてBRGフローを構築する。 特別な場合として、単一の無限大層を持つアーキテクチャ、スカラー出力、一般化されたcos-netアクティベーションに制限する。 この場合、BRG粗粒化は、自由スカラーSFTの運動量殻ERGフローと正確に一致することを示す。 解析結果は,漸近的に広いNNのアンサンブルを訓練し,インフォメーションシェルBRGスキームを用いて再正規化する数値実験によって裏付けられる。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Wilsonian Renormalization of Neural Network Gaussian Processes [1.8749305679160366]
  本稿では,ガウス過程(GP)回帰の文脈でWilsonian RGを実行するための実践的アプローチを示す。 GPカーネルの未学習モードを体系的に統合し,データをIRスケールに設定したGPのRGフローを得る。 このアプローチは、RGフローと学習可能モードと学習不可能モードとの自然な接続を提供することによって、RGとニューラルネットワークの間の構造的な類似性を越えている。
  論文  参考訳（メタデータ） (2024-05-09T18:00:00Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Resolution-Invariant Image Classification based on Fourier Neural Operators [1.3190581566723918]
  画像分類における一般化ニューラルネットワーク (FNO) の利用について, 標準畳み込みニューラルネットワーク (CNN) と比較して検討した。 我々は、ルベーグ空間上の連続およびFr'echet微分可能なニューラル作用素の例としてFNOアーキテクチャを導出する。
  論文  参考訳（メタデータ） (2023-04-02T10:23:36Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Scalable Partial Explainability in Neural Networks via Flexible Activation Functions [13.71739091287644]
  ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
  論文  参考訳（メタデータ） (2020-06-10T20:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。