論文の概要: Neural reproducing kernel Banach spaces and representer theorems for
deep networks
- arxiv url: http://arxiv.org/abs/2403.08750v1
- Date: Wed, 13 Mar 2024 17:51:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 13:07:12.496882
- Title: Neural reproducing kernel Banach spaces and representer theorems for
deep networks
- Title(参考訳): 神経再生核バナッハ空間と表現定理
ディープ・ネットワーク
- Authors: Francesca Bartolucci, Ernesto De Vito, Lorenzo Rosasco, Stefano
Vigogna
- Abstract要約: ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。
応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
- 参考スコア(独自算出の注目度): 16.279502878600184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Studying the function spaces defined by neural networks helps to understand
the corresponding learning models and their inductive bias. While in some
limits neural networks correspond to function spaces that are reproducing
kernel Hilbert spaces, these regimes do not capture the properties of the
networks used in practice. In contrast, in this paper we show that deep neural
networks define suitable reproducing kernel Banach spaces.
These spaces are equipped with norms that enforce a form of sparsity,
enabling them to adapt to potential latent structures within the input data and
their representations. In particular, leveraging the theory of reproducing
kernel Banach spaces, combined with variational results, we derive representer
theorems that justify the finite architectures commonly employed in
applications. Our study extends analogous results for shallow networks and can
be seen as a step towards considering more practically plausible neural
architectures.
- Abstract(参考訳): ニューラルネットワークによって定義される関数空間の研究は、対応する学習モデルとその帰納バイアスを理解するのに役立つ。
ある極限において、ニューラルネットワークはカーネルヒルベルト空間を再現する関数空間に対応するが、これらのレジームは実際に使用されるネットワークの性質を捉えない。
対照的に、深層ニューラルネットワークは、適切な再生カーネルバナッハ空間を定義する。
これらの空間は間隔の形式を強制するノルムを備えており、入力データとその表現内の潜在的潜在構造に適応することができる。
特に、再現されたカーネルバナッハ空間の理論と変分結果を組み合わせることで、アプリケーションでよく用いられる有限アーキテクチャを正当化する代表者定理を導出する。
我々の研究は、浅いネットワークに対する類似の結果を拡張し、より実用的なニューラルネットワークアーキテクチャを考えるためのステップと見なすことができる。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳(メタデータ) (2024-05-24T06:30:36Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Training Neural Networks Using Reproducing Kernel Space Interpolation
and Model Reduction [0.0]
広く利用されているニューラルネットワークアーキテクチャは、再生カーネルKrein空間(RKKS)のサブセットであることを示す。
次に、いくつかの複素変数の函数の理論の概念を用いて、有名なアダムジャン・アロフ・クライン(Adamjan-Arov-Krein,AAK)の定理の多次元一般化を証明した。
この定理は、PNN(Prolongation Neural Networks)と呼ばれる新しいニューラルネットワークのクラスを導出する。
論文 参考訳(メタデータ) (2023-08-31T14:21:40Z) - Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳(メタデータ) (2023-05-26T05:28:10Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Understanding neural networks with reproducing kernel Banach spaces [20.28372804772848]
ニューラルネットワークに対応する関数空間を特徴付けることで、それらの特性を理解することができる。
広範に再現されたカーネルバナッハ空間に対する表現定理を証明する。
適切な ReLU 活性化関数のクラスに対して、対応するカーネルバナッハ空間のノルムは、有界実測度の逆ラドン変換によって特徴づけられる。
論文 参考訳(メタデータ) (2021-09-20T17:32:30Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳(メタデータ) (2020-06-10T02:57:37Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳(メタデータ) (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。