Fugu-MT 論文翻訳(概要): Symmetries in the dynamics of wide two-layer neural networks

論文の概要: Symmetries in the dynamics of wide two-layer neural networks

arxiv url: http://arxiv.org/abs/2211.08771v1
Date: Wed, 16 Nov 2022 08:59:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-17 14:20:36.426028
Title: Symmetries in the dynamics of wide two-layer neural networks
Title（参考訳）: 広層ニューラルネットワークのダイナミックスにおける対称性
Authors: Karl Hajjar (LMO, CELESTE), Lenaic Chizat (EPFL)
Abstract要約: 無限広2層ReLUニューラルネットワークの集団リスクに対する勾配流の最適設定について(バイアスなしで)考察する。まず,対象関数$f*$と入力分布で満たされた対称性の一般クラスを動的に保存する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the idealized setting of gradient flow on the population risk for infinitely wide two-layer ReLU neural networks (without bias), and study the effect of symmetries on the learned parameters and predictors. We first describe a general class of symmetries which, when satisfied by the target function $f^*$ and the input distribution, are preserved by the dynamics. We then study more specific cases. When $f^*$ is odd, we show that the dynamics of the predictor reduces to that of a (non-linearly parameterized) linear predictor, and its exponential convergence can be guaranteed. When $f^*$ has a low-dimensional structure, we prove that the gradient flow PDE reduces to a lower-dimensional PDE. Furthermore, we present informal and numerical arguments that suggest that the input neurons align with the lower-dimensional structure of the problem.
Abstract（参考訳）: 偏りのない無限大2層reluニューラルネットワークの個体群リスクに対する勾配流の理想的な設定について検討し,学習パラメータと予測器に対する対称性の影響について検討した。まず、対象関数 $f^*$ と入力分布によって満たされた場合、そのダイナミクスによって保存される対称性の一般クラスを記述する。その後、より具体的なケースを研究します。 f^*$ が奇数であれば、予測器のダイナミクスは(非線形パラメータ化されていない)線形予測器のダイナミクスに還元され、指数収束が保証される。 f^*$ が低次元構造を持つとき、勾配流 PDE が低次元 PDE に還元されることを証明する。さらに、入力ニューロンが問題の低次元構造と一致していることを示す非公式および数値的な議論を示す。

関連論文リスト

Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
論文参考訳（メタデータ） (2024-06-26T07:41:41Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Lie Point Symmetry and Physics Informed Networks [59.56218517113066]
本稿では、損失関数を用いて、PINNモデルが基礎となるPDEを強制しようとするのと同じように、リー点対称性をネットワークに通知するロス関数を提案する。我々の対称性の損失は、リー群の無限小生成元がPDE解を保存することを保証する。実験により,PDEのリー点対称性による誘導バイアスはPINNの試料効率を大幅に向上させることが示された。
論文参考訳（メタデータ） (2023-11-07T19:07:16Z)
Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2022-10-25T14:45:15Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
論文参考訳（メタデータ） (2022-02-16T19:38:54Z)
Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
論文参考訳（メタデータ） (2022-01-12T23:28:41Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Inference on the Change Point for High Dimensional Dynamic Graphical Models [9.74000189600846]
動的に進化するグラフィカルモデルに対する変化点パラメータの推定器を開発する。グラフィカルモデルパラメータのプラグイン推定に対する十分な適応性を保持する。 RNA配列のデータと若年者および高齢者間の変化を図示する。
論文参考訳（メタデータ） (2020-05-19T19:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。