論文の概要: Wilsonian Renormalization of Neural Network Gaussian Processes

• arxiv url: http://arxiv.org/abs/2405.06008v2
• Date: Wed, 14 Aug 2024 06:06:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 17:46:37.909945
• Title: Wilsonian Renormalization of Neural Network Gaussian Processes
• Title（参考訳）: ニューラルネットワークガウス過程のウィルソン正規化
• Authors: Jessica N. Howard, Ro Jefferson, Anindita Maiti, Zohar Ringel,
• Abstract要約: 本稿では,ガウス過程(GP)回帰の文脈でWilsonian RGを実行するための実践的アプローチを示す。 GPカーネルの未学習モードを体系的に統合し,データをIRスケールに設定したGPのRGフローを得る。 このアプローチは、RGフローと学習可能モードと学習不可能モードとの自然な接続を提供することによって、RGとニューラルネットワークの間の構造的な類似性を越えている。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Separating relevant and irrelevant information is key to any modeling process or scientific inquiry. Theoretical physics offers a powerful tool for achieving this in the form of the renormalization group (RG). Here we demonstrate a practical approach to performing Wilsonian RG in the context of Gaussian Process (GP) Regression. We systematically integrate out the unlearnable modes of the GP kernel, thereby obtaining an RG flow of the GP in which the data sets the IR scale. In simple cases, this results in a universal flow of the ridge parameter, which becomes input-dependent in the richer scenario in which non-Gaussianities are included. In addition to being analytically tractable, this approach goes beyond structural analogies between RG and neural networks by providing a natural connection between RG flow and learnable vs. unlearnable modes. Studying such flows may improve our understanding of feature learning in deep neural networks, and enable us to identify potential universality classes in these models.
• Abstract（参考訳）: 関連する情報と無関係な情報を分離することは、あらゆるモデリングプロセスや科学的調査の鍵となる。 理論物理学は、これを再正規化群(RG)の形で達成するための強力なツールを提供する。 ここでは,ガウス過程(GP)回帰の文脈でWilsonian RGを実行するための実践的なアプローチを示す。 GPカーネルの未学習モードを体系的に統合し,データをIRスケールに設定したGPのRGフローを得る。 単純な場合、これはリッジパラメータの普遍フローとなり、非ガウス性を含むよりリッチなシナリオに入力依存となる。 解析的に抽出可能なことに加えて、このアプローチはRGフローと学習不可能モードと学習不能モードとの自然な接続を提供することによって、RGとニューラルネットワークの間の構造的な類似点を越えている。 このような流れを研究することで、ディープニューラルネットワークにおける特徴学習の理解が向上し、これらのモデルにおける潜在的普遍性クラスを特定できるかもしれない。

関連論文リスト

• Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
  我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。 我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
  論文  参考訳（メタデータ） (2023-06-01T16:31:36Z)
• Renormalized Graph Neural Networks [4.200261123369236]
  グラフニューラルネットワーク(GNN)は、特にグラフとして表される場合、複雑なデータの研究に欠かせないものとなっている。 本稿では,グラフ関連タスクにおけるGNNの性能向上に正規化群理論を適用した新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T14:16:43Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Scalable Partial Explainability in Neural Networks via Flexible Activation Functions [13.71739091287644]
  ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。 現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。 本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
  論文  参考訳（メタデータ） (2020-06-10T20:30:15Z)
• Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
  グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。 グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-26T10:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。