論文の概要: Do ideas have shape? Idea registration as the continuous limit of artificial neural networks

• arxiv url: http://arxiv.org/abs/2008.03920v3
• Date: Thu, 27 Oct 2022 18:01:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 22:12:58.226721
• Title: Do ideas have shape? Idea registration as the continuous limit of artificial neural networks
• Title（参考訳）: アイデアには形がありますか? ニューラルネットワークの連続的限界としてのアイデア登録
• Authors: Houman Owhadi
• Abstract要約: 本稿では,ResNetsが無限深度限界において,画像登録変分アルゴリズムの一般化に収束することを示す。 本稿では、ハミルトン力学駆動流れに対するトレーニングされた重みとバイアスを持つResNetsの収束の最初の厳密な証明を示す。
• 参考スコア（独自算出の注目度）: 0.609170287691728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a GP generalization of ResNets (including ResNets as a particular case). We show that ResNets (and their GP generalization) converge, in the infinite depth limit, to a generalization of image registration variational algorithms. Whereas computational anatomy aligns images via warping of the material space, this generalization aligns ideas (or abstract shapes as in Plato's theory of forms) via the warping of the RKHS of functions mapping the input space to the output space. While the Hamiltonian interpretation of ResNets is not new, it was based on an Ansatz. We do not rely on this Ansatz and present the first rigorous proof of convergence of ResNets with trained weights and biases towards a Hamiltonian dynamics driven flow. Our constructive proof reveals several remarkable properties of ResNets and their GP generalization. ResNets regressors are kernel regressors with data-dependent warping kernels. Minimizers of $L_2$ regularized ResNets satisfy a discrete least action principle implying the near preservation of the norm of weights and biases across layers. The trained weights of ResNets with $L^2$ regularization can be identified by solving an autonomous Hamiltonian system. The trained ResNet parameters are unique up to the initial momentum whose representation is generally sparse. The kernel regularization strategy provides a provably robust alternative to Dropout for ANNs. We introduce a functional generalization of GPs leading to error estimates for ResNets. We identify the (EPDiff) mean fields limit of trained ResNet parameters. We show that the composition of warping regression blocks with reduced equivariant multichannel kernels (introduced here) recovers and generalizes CNNs to arbitrary spaces and groups of transformations.
• Abstract（参考訳）: 本稿ではResNetsのGP一般化(特にResNetsを含む)を紹介する。 本稿では,ResNets(とそのGP一般化)が無限深度限界において,画像登録変分アルゴリズムの一般化に収束することを示す。 計算解剖学は、物質空間のワープによって画像を整列させるが、この一般化は入力空間を出力空間にマッピングする関数のRKHSのワープを通じてアイデア(プラトンの形式理論のような抽象的な形状)を整列させる。 ResNetsのハミルトン解釈は新しいものではないが、Ansatzに基づいている。 我々はこのアンサッツを頼りにせず、訓練された重みとバイアスを持つ再ネットがハミルトン力学駆動の流れに収束する最初の厳密な証明を示す。 我々の構成的証明は ResNets のいくつかの顕著な性質とそれらのGP一般化を明らかにする。 resnets regressorは、データ依存のワーピングカーネルを持つカーネルレグレッサーである。 L_2$正規化ResNetの最小化は、層間の重みと偏りのノルムのほぼ保存を意味する離散最小の作用原理を満たす。 L^2$正規化のトレーニングされたResNetの重みは、自律ハミルトニアン系を解くことで特定できる。 トレーニングされたResNetパラメータは、表現が一般的に疎い初期モーメントまでユニークである。 カーネルの正規化戦略は、annのドロップアウトに代わる、確実なロバストな代替手段を提供する。 本稿では,ResNetの誤差推定に繋がるGPの関数的一般化を提案する。 トレーニングされたResNetパラメータのフィールド制限(EPDiff)を識別する。 この結果から,CNNを任意の空間や変換群に分割して一般化する手法として,同変のマルチチャネルカーネルを縮小したワーピング回帰ブロックの構成法が提案されている。

関連論文リスト

• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。 無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Approximation properties of Residual Neural Networks for Kolmogorov PDEs [0.0]
  ResNets はコルモゴロフ偏微分方程式を定数拡散とおそらく非線形勾配係数で近似できることを示す。 FNNとは対照的に、ResNetsのEuler-Maruyama近似構造は、ResNetsの近似の構成を大幅に単純化する。
  論文  参考訳（メタデータ） (2021-10-30T09:28:49Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization [18.613475245655806]
  ReLU ResNets in the infinite-depth-and-width limit, where both depth and width tend to infinity as their ratio, $d/n$。 モンテカルロシミュレーションを用いて、標準ResNetアーキテクチャの基本的な性質でさえガウス極限で十分に捉えられていないことを示した。
  論文  参考訳（メタデータ） (2021-06-07T23:47:37Z)
• Momentum Residual Neural Networks [22.32840998053339]
  モーメント項を追加することで、ResNetの前方ルールを変更することを提案する。 MomentumNetsは既存のResNetブロックのドロップイン代替として使用できる。 我々は、MomentumNetsがResNetsと同じ精度であり、メモリフットプリントがはるかに小さいことを示す。
  論文  参考訳（メタデータ） (2021-02-15T22:24:52Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。