論文の概要: Deep Nets as Hamiltonians

• arxiv url: http://arxiv.org/abs/2503.23982v1
• Date: Mon, 31 Mar 2025 11:51:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:05.710111
• Title: Deep Nets as Hamiltonians
• Title（参考訳）: ハミルトン派としてのディープネット
• Authors: Mike Winer, Boris Hanin,
• Abstract要約: ディープラーニング理論における多くの先行研究は、一連の入力の固定セットにおけるネットワーク出力の分布を分析する。 ランダムに多層パーセプトロン(MLP)をハミルトニアンとみなす。 ネットワークパラメータの典型的な実現法として、このハミルトニアンによって誘導されるエネルギー景観の特性について研究する。
• 参考スコア（独自算出の注目度）: 9.883261192383612
• License:
• Abstract: Neural networks are complex functions of both their inputs and parameters. Much prior work in deep learning theory analyzes the distribution of network outputs at a fixed a set of inputs (e.g. a training dataset) over random initializations of the network parameters. The purpose of this article is to consider the opposite situation: we view a randomly initialized Multi-Layer Perceptron (MLP) as a Hamiltonian over its inputs. For typical realizations of the network parameters, we study the properties of the energy landscape induced by this Hamiltonian, focusing on the structure of near-global minimum in the limit of infinite width. Specifically, we use the replica trick to perform an exact analytic calculation giving the entropy (log volume of space) at a given energy. We further derive saddle point equations that describe the overlaps between inputs sampled iid from the Gibbs distribution induced by the random MLP. For linear activations we solve these saddle point equations exactly. But we also solve them numerically for a variety of depths and activation functions, including $\tanh, \sin, \text{ReLU}$, and shaped non-linearities. We find even at infinite width a rich range of behaviors. For some non-linearities, such as $\sin$, for instance, we find that the landscapes of random MLPs exhibit full replica symmetry breaking, while shallow $\tanh$ and ReLU networks or deep shaped MLPs are instead replica symmetric.
• Abstract（参考訳）: ニューラルネットワークは入力とパラメータの両方の複雑な関数である。 ディープラーニング理論における多くの先行研究は、ネットワークパラメータのランダムな初期化に関する一連の入力(例えばトレーニングデータセット)におけるネットワーク出力の分布を分析する。 本稿の目的は、ランダムに初期化されたマルチ層パーセプトロン(MLP)を、その入力に対してハミルトニアンとみなすことである。 ネットワークパラメータの典型的な実現法として、このハミルトニアンによって誘導されるエネルギーランドスケープの特性について研究し、無限幅の極限における準グロバル極小の構造に焦点をあてる。 具体的には、レプリカのトリックを用いて、所定のエネルギーでエントロピー(空間の対数体積)を与える正確な解析計算を行う。 さらに、ランダムMLPにより誘導されるギブス分布から、サンプルiidの入力間の重なりを記述したサドル点方程式を導出する。 線形活性化に対しては、これらのサドル点方程式を正確に解く。 しかし、$\tanh, \sin, \text{ReLU}$ など、様々な深度関数やアクティベーション関数についても数値的に解決する。 無限の幅でも、振る舞いの豊富な範囲を見つけます。 例えば$\sin$ のような非線形性では、ランダムな MLP の風景は完全なレプリカ対称性の破れを示し、浅い $\tanh$ や ReLU のネットワークや深部形状の MLP は代わりにレプリカ対称性の破れを示す。

関連論文リスト

• Fixed Points of Deep Neural Networks: Emergence, Stability, and Applications [0.0]
  我々はディープニューラルネットワーク(DNN)の固定点群の形成と安定性について述べる。 本稿では、教師付き、半教師付き、教師なし学習におけるそのようなネットワークの応用例を示す。
  論文  参考訳（メタデータ） (2025-01-07T23:23:26Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  ResNets と Fully-Connected Nets を相互接続する Leaky ResNets について「有効深度」に依存して検討する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Differential Equation Scaling Limits of Shaped and Unshaped Neural Networks [8.716913598251386]
  類似した微分方程式に基づく2種類の不整形ネットワークのキャラクタリゼーションを求める。 我々は第1次補正を階層的相関に導出する。 これらの結果は、形状と未形状のネットワークアーキテクチャ間の接続を提供する。
  論文  参考訳（メタデータ） (2023-10-18T16:15:10Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
  連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。 エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。 本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
  論文  参考訳（メタデータ） (2021-01-18T16:31:19Z)
• Affine symmetries and neural network identifiability [0.0]
  我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。 この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T07:09:30Z)
• Optimal Lottery Tickets via SubsetSum: Logarithmic Over-Parameterization is Sufficient [9.309655246559094]
  幅$d$と深さ$l$の任意のターゲットネットワークは、幅$O(log(dl))$の2倍、幅$O(log(dl))$のランダムネットワークを切断することで近似できることを示す。 解析は、プルーニングランダムなReLUネットワークをtextscSubset問題のランダムなインスタンスに接続することに依存する。
  論文  参考訳（メタデータ） (2020-06-14T19:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。