論文の概要: Understanding neural networks with reproducing kernel Banach spaces
- arxiv url: http://arxiv.org/abs/2109.09710v1
- Date: Mon, 20 Sep 2021 17:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:42:09.026452
- Title: Understanding neural networks with reproducing kernel Banach spaces
- Title(参考訳): 再生カーネルバナッハ空間を用いたニューラルネットワークの理解
- Authors: Francesca Bartolucci, Ernesto De Vito, Lorenzo Rosasco, Stefano
Vigogna
- Abstract要約: ニューラルネットワークに対応する関数空間を特徴付けることで、それらの特性を理解することができる。
広範に再現されたカーネルバナッハ空間に対する表現定理を証明する。
適切な ReLU 活性化関数のクラスに対して、対応するカーネルバナッハ空間のノルムは、有界実測度の逆ラドン変換によって特徴づけられる。
- 参考スコア(独自算出の注目度): 20.28372804772848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Characterizing the function spaces corresponding to neural networks can
provide a way to understand their properties. In this paper we discuss how the
theory of reproducing kernel Banach spaces can be used to tackle this
challenge. In particular, we prove a representer theorem for a wide class of
reproducing kernel Banach spaces that admit a suitable integral representation
and include one hidden layer neural networks of possibly infinite width.
Further, we show that, for a suitable class of ReLU activation functions, the
norm in the corresponding reproducing kernel Banach space can be characterized
in terms of the inverse Radon transform of a bounded real measure, with norm
given by the total variation norm of the measure. Our analysis simplifies and
extends recent results in [34,29,30].
- Abstract(参考訳): ニューラルネットワークに対応する関数空間の特徴付けは、その特性を理解する方法を提供する。
本稿では,カーネルバナッハ空間を再生する理論を用いて,この課題に取り組む方法について述べる。
特に、適切な積分表現を許容し、潜在的に無限幅の隠れ層ニューラルネットワークを含む、幅広い種類の再生核バナッハ空間に対する表現者定理を証明した。
さらに、ReLU活性化関数の適切なクラスに対して、対応する再生カーネルバナッハ空間のノルムは、その測度の全変動ノルムによって与えられる有界実測度の逆ラドン変換によって特徴づけられることを示す。
我々の分析は[34,29,30]の最近の結果を単純化し、拡張する。
関連論文リスト
- Neural reproducing kernel Banach spaces and representer theorems for
deep networks [16.279502878600184]
ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。
応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
論文 参考訳(メタデータ) (2024-03-13T17:51:02Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Unified Fourier-based Kernel and Nonlinearity Design for Equivariant
Networks on Homogeneous Spaces [52.424621227687894]
等質空間上の群同変ネットワークに対する統一的枠組みを導入する。
昇降した特徴場のフーリエ係数の空間性を利用する。
安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
論文 参考訳(メタデータ) (2022-06-16T17:59:01Z) - Ridges, Neural Networks, and the Radon Transform [25.6264886382888]
リッジはニューラルネットワークの理論において、ニューロンの効果の関数的記述子として現れる。
尾根に関するラドン変換の特性とニューラルネットワークの特性について検討する。
論文 参考訳(メタデータ) (2022-03-04T19:38:15Z) - Two-layer neural networks with values in a Banach space [1.90365714903665]
本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。
非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
論文 参考訳(メタデータ) (2021-05-05T14:54:24Z) - Approximations with deep neural networks in Sobolev time-space [5.863264019032882]
進化方程式の解は一般に特定のボヒナー・ソボレフ空間にある。
ディープニューラルネットワークは、ボヒナー・ソボレフ空間に関してソボレフ正則関数を近似することができる。
論文 参考訳(メタデータ) (2020-12-23T22:21:05Z) - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。
提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文 参考訳(メタデータ) (2020-06-24T14:54:59Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳(メタデータ) (2020-06-10T02:57:37Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳(メタデータ) (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。