論文の概要: Understanding neural networks with reproducing kernel Banach spaces
- arxiv url: http://arxiv.org/abs/2109.09710v1
- Date: Mon, 20 Sep 2021 17:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-21 16:42:09.026452
- Title: Understanding neural networks with reproducing kernel Banach spaces
- Title（参考訳）: 再生カーネルバナッハ空間を用いたニューラルネットワークの理解
- Authors: Francesca Bartolucci, Ernesto De Vito, Lorenzo Rosasco, Stefano
Vigogna
- Abstract要約: ニューラルネットワークに対応する関数空間を特徴付けることで、それらの特性を理解することができる。
広範に再現されたカーネルバナッハ空間に対する表現定理を証明する。
適切な ReLU 活性化関数のクラスに対して、対応するカーネルバナッハ空間のノルムは、有界実測度の逆ラドン変換によって特徴づけられる。
- 参考スコア（独自算出の注目度）: 20.28372804772848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Characterizing the function spaces corresponding to neural networks can
provide a way to understand their properties. In this paper we discuss how the
theory of reproducing kernel Banach spaces can be used to tackle this
challenge. In particular, we prove a representer theorem for a wide class of
reproducing kernel Banach spaces that admit a suitable integral representation
and include one hidden layer neural networks of possibly infinite width.
Further, we show that, for a suitable class of ReLU activation functions, the
norm in the corresponding reproducing kernel Banach space can be characterized
in terms of the inverse Radon transform of a bounded real measure, with norm
given by the total variation norm of the measure. Our analysis simplifies and
extends recent results in [34,29,30].
- Abstract（参考訳）: ニューラルネットワークに対応する関数空間の特徴付けは、その特性を理解する方法を提供する。
本稿では,カーネルバナッハ空間を再生する理論を用いて,この課題に取り組む方法について述べる。
特に、適切な積分表現を許容し、潜在的に無限幅の隠れ層ニューラルネットワークを含む、幅広い種類の再生核バナッハ空間に対する表現者定理を証明した。
さらに、ReLU活性化関数の適切なクラスに対して、対応する再生カーネルバナッハ空間のノルムは、その測度の全変動ノルムによって与えられる有界実測度の逆ラドン変換によって特徴づけられることを示す。
我々の分析は[34,29,30]の最近の結果を単純化し、拡張する。
関連論文リスト
- A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Neural reproducing kernel Banach spaces and representer theorems for
deep networks [16.279502878600184]
ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。
応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
論文 参考訳（メタデータ） (2024-03-13T17:51:02Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Unified Fourier-based Kernel and Nonlinearity Design for Equivariant
Networks on Homogeneous Spaces [52.424621227687894]
等質空間上の群同変ネットワークに対する統一的枠組みを導入する。
昇降した特徴場のフーリエ係数の空間性を利用する。
安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
論文 参考訳（メタデータ） (2022-06-16T17:59:01Z) - Ridges, Neural Networks, and the Radon Transform [25.6264886382888]
リッジはニューラルネットワークの理論において、ニューロンの効果の関数的記述子として現れる。
尾根に関するラドン変換の特性とニューラルネットワークの特性について検討する。
論文 参考訳（メタデータ） (2022-03-04T19:38:15Z) - Two-layer neural networks with values in a Banach space [1.90365714903665]
本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。
非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
論文 参考訳（メタデータ） (2021-05-05T14:54:24Z) - Approximations with deep neural networks in Sobolev time-space [5.863264019032882]
進化方程式の解は一般に特定のボヒナー・ソボレフ空間にある。
ディープニューラルネットワークは、ボヒナー・ソボレフ空間に関してソボレフ正則関数を近似することができる。
論文 参考訳（メタデータ） (2020-12-23T22:21:05Z) - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。
提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文 参考訳（メタデータ） (2020-06-24T14:54:59Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳（メタデータ） (2020-06-10T02:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。