論文の概要: Banach Space Representer Theorems for Neural Networks and Ridge Splines
- arxiv url: http://arxiv.org/abs/2006.05626v3
- Date: Thu, 11 Feb 2021 19:38:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 04:31:41.955275
- Title: Banach Space Representer Theorems for Neural Networks and Ridge Splines
- Title（参考訳）: ニューラルネットワークとリッジスプラインのためのバナッハ空間表現理論
- Authors: Rahul Parhi and Robert D. Nowak
- Abstract要約: データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
- 参考スコア（独自算出の注目度）: 17.12783792226575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a variational framework to understand the properties of the
functions learned by neural networks fit to data. We propose and study a family
of continuous-domain linear inverse problems with total variation-like
regularization in the Radon domain subject to data fitting constraints. We
derive a representer theorem showing that finite-width, single-hidden layer
neural networks are solutions to these inverse problems. We draw on many
techniques from variational spline theory and so we propose the notion of
polynomial ridge splines, which correspond to single-hidden layer neural
networks with truncated power functions as the activation function. The
representer theorem is reminiscent of the classical reproducing kernel Hilbert
space representer theorem, but we show that the neural network problem is posed
over a non-Hilbertian Banach space. While the learning problems are posed in
the continuous-domain, similar to kernel methods, the problems can be recast as
finite-dimensional neural network training problems. These neural network
training problems have regularizers which are related to the well-known weight
decay and path-norm regularizers. Thus, our result gives insight into
functional characteristics of trained neural networks and also into the design
neural network regularizers. We also show that these regularizers promote
neural network solutions with desirable generalization properties.
- Abstract（参考訳）: データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
データ適合制約を受けるラドン領域における全変分のような正則化を伴う連続領域線形逆問題群を提案し,研究する。
有限幅単層ニューラルネットワークがこれらの逆問題に対する解であることを示す代表者定理を導出する。
変動スプライン理論から多くの手法を導いており、活性化関数として停電電力関数を持つ単層ニューラルネットワークに対応する多項式リッジスプラインの概念を提案する。
表現型定理は古典的再現核ヒルベルト空間表現型定理を想起させるが、ニューラルネットワーク問題は非ヒルベルト的バナッハ空間上で生じることを示した。
学習問題は、カーネル法と同様に、連続領域で生じるが、問題は有限次元ニューラルネットワークトレーニング問題として再キャストすることができる。
これらのニューラルネットワークのトレーニング問題は、既知の重みの減衰とパスノルム正則化に関連する正則化子を持つ。
そこで,本研究では,学習ニューラルネットワークの機能的特徴や,設計ニューラルネットワークのレギュラライザについて考察する。
また、これらの正規化器は、望ましい一般化特性を持つニューラルネットワークソリューションを促進する。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Neural reproducing kernel Banach spaces and representer theorems for
deep networks [16.279502878600184]
ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。
応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
論文 参考訳（メタデータ） (2024-03-13T17:51:02Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳（メタデータ） (2021-08-14T05:14:13Z) - What Kinds of Functions do Deep Neural Networks Learn? Insights from
Variational Spline Theory [19.216784367141972]
本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。
我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
論文 参考訳（メタデータ） (2021-05-07T16:18:22Z) - Bidirectionally Self-Normalizing Neural Networks [46.20979546004718]
本研究では, ニューラルネットワークの幅が十分であれば, 消失/爆発の勾配問題は高い確率で消失することを示す厳密な結果を与える。
我々の主な考えは、新しい種類の活性化関数を通して、非線形ニューラルネットワークにおける前方信号と後方信号の伝搬を制限することである。
論文 参考訳（メタデータ） (2020-06-22T12:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。