論文の概要: Ridges, Neural Networks, and the Radon Transform
- arxiv url: http://arxiv.org/abs/2203.02543v1
- Date: Fri, 4 Mar 2022 19:38:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 11:01:20.529655
- Title: Ridges, Neural Networks, and the Radon Transform
- Title（参考訳）: リッジ、ニューラルネットワーク、ラドン変換
- Authors: Michael Unser
- Abstract要約: リッジはニューラルネットワークの理論において、ニューロンの効果の関数的記述子として現れる。
尾根に関するラドン変換の特性とニューラルネットワークの特性について検討する。
- 参考スコア（独自算出の注目度）: 25.6264886382888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A ridge is a function that is characterized by a one-dimensional profile
(activation) and a multidimensional direction vector. Ridges appear in the
theory of neural networks as functional descriptors of the effect of a neuron,
with the direction vector being encoded in the linear weights. In this paper,
we investigate properties of the Radon transform in relation to ridges and to
the characterization of neural networks. We introduce a broad category of
hyper-spherical Banach subspaces (including the relevant subspace of measures)
over which the back-projection operator is invertible. We also give conditions
under which the back-projection operator is extendable to the full parent space
with its null space being identifiable as a Banach complement. Starting from
first principles, we then characterize the sampling functionals that are in the
range of the filtered Radon transform. Next, we extend the definition of ridges
for any distributional profile and determine their (filtered) Radon transform
in full generality. Finally, we apply our formalism to clarify and simplify
some of the results and proofs on the optimality of ReLU networks that have
appeared in the literature.
- Abstract（参考訳）: リッジは1次元プロファイル(アクティベーション)と多次元方向ベクトルによって特徴づけられる関数である。
リッジはニューロンの効果の関数記述子としてニューラルネットワークの理論に現れ、方向ベクトルは線形重みで符号化される。
本稿では,尾根に関するラドン変換の特性とニューラルネットワークの特性について検討する。
我々は、逆射影作用素が可逆である超球面的バナッハ部分空間(測度の関連する部分空間を含む)の広いカテゴリを導入する。
また、バック射影作用素が全親空間に拡張可能であり、そのヌル空間はバナッハ補空間として識別できる条件を与える。
最初の原理から始めて、フィルターされたラドン変換の範囲内にあるサンプリング汎関数を特徴付ける。
次に、任意の分布プロファイルに対するリッジの定義を拡張し、その(フィルターされた)ラドン変換を完全一般性で決定する。
最後に,文献に現れるreluネットワークの最適性に関するいくつかの結果と証明を明らかにするために,形式的手法を適用した。
関連論文リスト
- Emergence of Grid-like Representations by Training Recurrent Networks
with Conformal Normalization [48.99772993899573]
ニューラルネットワークモデルに基づくグリッドセルの六角形格子パターンの出現について検討した。
本稿では、RNNの入力速度の単純かつ一般的な等角正規化を提案する。
我々は、六角形格子パターンの出現に共形正規化が不可欠であることを示す広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-29T23:12:56Z) - Joint Group Invariant Functions on Data-Parameter Domain Induce
Universal Neural Networks [14.45619075342763]
本稿では、一般化されたニューラルネットワークとその右逆演算子であるリッジレット変換を誘導する体系的手法を提案する。
リッジレット変換は逆であるため、対象関数を表すためにネットワークのパラメータの配置を記述することができる。
より広い階層のネットワークを包含する統一的な方法でシュルの補題を用いて、普遍性の新たな単純な証明を示す。
論文 参考訳（メタデータ） (2023-10-05T13:30:37Z) - NeuRBF: A Neural Fields Representation with Adaptive Radial Basis
Functions [93.02515761070201]
本稿では,信号表現に一般放射状基底を用いる新しいタイプのニューラルネットワークを提案する。
提案手法は, 空間適応性が高く, ターゲット信号により密着可能な, フレキシブルなカーネル位置と形状を持つ一般ラジアルベース上に構築する。
ニューラルラジアンス場再構成に適用した場合,本手法はモデルサイズが小さく,訓練速度が同等である最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2023-09-27T06:32:05Z) - Piecewise Linear Functions Representable with Infinite Width Shallow
ReLU Neural Networks [0.0]
我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
論文 参考訳（メタデータ） (2023-07-25T15:38:18Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Understanding neural networks with reproducing kernel Banach spaces [20.28372804772848]
ニューラルネットワークに対応する関数空間を特徴付けることで、それらの特性を理解することができる。
広範に再現されたカーネルバナッハ空間に対する表現定理を証明する。
適切な ReLU 活性化関数のクラスに対して、対応するカーネルバナッハ空間のノルムは、有界実測度の逆ラドン変換によって特徴づけられる。
論文 参考訳（メタデータ） (2021-09-20T17:32:30Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳（メタデータ） (2021-08-23T04:22:58Z) - Two-layer neural networks with values in a Banach space [1.90365714903665]
本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。
非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
論文 参考訳（メタデータ） (2021-05-05T14:54:24Z) - Approximations with deep neural networks in Sobolev time-space [5.863264019032882]
進化方程式の解は一般に特定のボヒナー・ソボレフ空間にある。
ディープニューラルネットワークは、ボヒナー・ソボレフ空間に関してソボレフ正則関数を近似することができる。
論文 参考訳（メタデータ） (2020-12-23T22:21:05Z) - From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing
Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
ディープネットワークを等価な(不確定な)カーネルマシンに変換します。
次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。
最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
論文 参考訳（メタデータ） (2020-07-15T03:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。