論文の概要: From Kernel Methods to Neural Networks: A Unifying Variational Formulation

• arxiv url: http://arxiv.org/abs/2206.14625v1
• Date: Wed, 29 Jun 2022 13:13:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 23:40:09.055434
• Title: From Kernel Methods to Neural Networks: A Unifying Variational Formulation
• Title（参考訳）: カーネル法からニューラルネットワークへ:統一的な変分定式化
• Authors: Michael Unser
• Abstract要約: 演算子と一般ラドン領域ノルムに依存する統一正規化関数を提案する。 我々のフレームワークは、多種多様な正規化演算子、または同等に、幅広い浅層ニューラルネットワークに対して、普遍的な近似を保証する。
• 参考スコア（独自算出の注目度）: 25.6264886382888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The minimization of a data-fidelity term and an additive regularization functional gives rise to a powerful framework for supervised learning. In this paper, we present a unifying regularization functional that depends on an operator and on a generic Radon-domain norm. We establish the existence of a minimizer and give the parametric form of the solution(s) under very mild assumptions. When the norm is Hilbertian, the proposed formulation yields a solution that involves radial-basis functions and is compatible with the classical methods of machine learning. By contrast, for the total-variation norm, the solution takes the form of a two-layer neural network with an activation function that is determined by the regularization operator. In particular, we retrieve the popular ReLU networks by letting the operator be the Laplacian. We also characterize the solution for the intermediate regularization norms $\|\cdot\|=\|\cdot\|_{L_p}$ with $p\in(1,2]$. Our framework offers guarantees of universal approximation for a broad family of regularization operators or, equivalently, for a wide variety of shallow neural networks, including the cases (such as ReLU) where the activation function is increasing polynomially. It also explains the favorable role of bias and skip connections in neural architectures.
• Abstract（参考訳）: データ忠実性項と付加正規化関数の最小化は、教師付き学習のための強力な枠組みをもたらす。 本稿では、演算子と一般ラドンドメインノルムに依存する統一正規化汎関数を提案する。 我々は最小化器の存在を確立し、非常に穏やかな仮定の下で解のパラメトリック形式を与える。 ノルムがヒルベルト的であるとき、提案された定式化は放射基底関数を含む解となり、古典的な機械学習手法と互換性がある。 対照的に、全変量ノルムの場合、解は正規化演算子によって決定される活性化関数を持つ2層ニューラルネットワークの形を取る。 特に、演算子をラプラシアンにすることで、人気のあるReLUネットワークを検索する。 また、中間正規化ノルム $\|\cdot\|=\|\cdot\|_{L_p}$ の解を $p\in(1,2]$ で特徴づける。 我々のフレームワークは、多種多様な正規化演算子や、活性化関数が多項式的に増大しているケース(ReLUなど)を含む様々な浅層ニューラルネットワークに対して、普遍的な近似の保証を提供する。 また、ニューラルネットワークにおけるバイアスとスキップ接続の役割についても説明している。

関連論文リスト

• Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks [1.5850926890180461]
  Kolmogorov-Arnold Network (KAN)は、Liuらによって最近提案されたネットワーク構造である。 活性化関数を備えたカンの一般化境界を確立することにより、カンの厳密な理論的解析を提供する。
  論文  参考訳（メタデータ） (2024-10-10T15:23:21Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• A Lifted Bregman Formulation for the Inversion of Deep Neural Networks [28.03724379169264]
  本稿では,ディープニューラルネットワークの正規化インバージョンのための新しいフレームワークを提案する。 このフレームワークは、補助変数を導入することにより、パラメータ空間を高次元空間に引き上げる。 理論的結果を提示し,その実用的応用を数値的な例で支援する。
  論文  参考訳（メタデータ） (2023-03-01T20:30:22Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Solving high-dimensional eigenvalue problems using deep neural networks: A diffusion Monte Carlo like approach [14.558626910178127]
  固有値問題は、演算子によって誘導される半群フローの固定点問題として再構成される。 この方法は拡散モンテカルロと同様の精神を持つが、ニューラル・ネットワーク・アンサッツによる固有関数への直接近似を増大させる。 我々の手法はいくつかの数値例で正確な固有値と固有関数の近似を提供することができる。
  論文  参考訳（メタデータ） (2020-02-07T03:08:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。