論文の概要: A unified Fourier slice method to derive ridgelet transform for a
variety of depth-2 neural networks
- arxiv url: http://arxiv.org/abs/2402.15984v1
- Date: Sun, 25 Feb 2024 04:30:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 16:02:21.412548
- Title: A unified Fourier slice method to derive ridgelet transform for a
variety of depth-2 neural networks
- Title（参考訳）: 様々な深さ2ニューラルネットに対するリッジレット変換を導出する統一フーリエスライス法
- Authors: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda
- Abstract要約: リッジレット変換は、与えられた関数$f$をパラメータ分布$gamma$にマッピングする擬逆演算子である。
ユークリッド空間上のディープ2完全連結ネットワークに対して、リッジレット変換は閉形式表現まで発見されている。
有限体 $mathbbF_p$ 上のネットワーク、抽象ヒルベルト空間 $mathcalH$ 上の群畳み込みネットワーク、非コンパクト対称空間 $G/K$ 上の完全連結ネットワーク、プーリング層など、様々な現代的なネットワークに対して変換を導出する。
- 参考スコア（独自算出の注目度）: 16.247309681569764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To investigate neural network parameters, it is easier to study the
distribution of parameters than to study the parameters in each neuron. The
ridgelet transform is a pseudo-inverse operator that maps a given function $f$
to the parameter distribution $\gamma$ so that a network $\mathtt{NN}[\gamma]$
reproduces $f$, i.e. $\mathtt{NN}[\gamma]=f$. For depth-2 fully-connected
networks on a Euclidean space, the ridgelet transform has been discovered up to
the closed-form expression, thus we could describe how the parameters are
distributed. However, for a variety of modern neural network architectures, the
closed-form expression has not been known. In this paper, we explain a
systematic method using Fourier expressions to derive ridgelet transforms for a
variety of modern networks such as networks on finite fields $\mathbb{F}_p$,
group convolutional networks on abstract Hilbert space $\mathcal{H}$,
fully-connected networks on noncompact symmetric spaces $G/K$, and pooling
layers, or the $d$-plane ridgelet transform.
- Abstract（参考訳）: ニューラルネットワークのパラメータを調べるには、各ニューロンのパラメータを調べるよりもパラメータの分布を調べる方が容易である。
リッジレット変換は、与えられた関数$f$をパラメータ分布$\gamma$にマッピングし、ネットワーク$\matht{NN}[\gamma]$が$f$、すなわち$\matht{NN}[\gamma]=f$を再現する擬逆演算子である。
ユークリッド空間上の深さ-2 完全連結ネットワークに対して、リッジレット変換は閉形式式まで発見されており、パラメータの分布を記述できる。
しかし、様々な現代のニューラルネットワークアーキテクチャでは、クローズドフォーム表現は知られていない。
本稿では,有限体上のネットワーク $\mathbb{F}_p$,抽象ヒルベルト空間上の群畳み込みネットワーク $\mathcal{H}$,非コンパクト対称空間上の完全連結ネットワーク $G/K$,プール層,あるいは$d$平面リッジレット変換など,様々な現代的なネットワークに対して,フーリエ式を用いてリッジレット変換を導出する体系的手法を説明する。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs [35.212818841550835]
一層ニューラルネットワークと一層トランスフォーマーの研究を行った。
1つの隠れた層ニューラルネットワークは、データセット上で最大$L_2,k+1$-marginに達する。
同様の計算機構を1層変換器に注意して観察する。
論文 参考訳（メタデータ） (2024-02-12T05:52:06Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Universality of group convolutional neural networks based on ridgelet
analysis on groups [10.05944106581306]
グループ畳み込みニューラルネットワーク(GCNN)のリッジレット理論に基づく近似特性について検討する。
群表現間の非線形写像として多目的GCNNを定式化する。
論文 参考訳（メタデータ） (2022-05-30T02:52:22Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳（メタデータ） (2021-03-15T19:10:02Z) - Sample Complexity and Overparameterization Bounds for Projection-Free
Neural TD Learning [38.730333068555275]
神経td学習の既存の解析は、無限幅解析または(ランダム)コンパクト集合内のネットワークパラメータの制約に依存している。
poly(overlinenu,1/epsilon)$以上の幅の2層reluネットワークを備えたプロジェクションフリーtd学習は、$poly(overlinenu,1/epsilon)$イテレーションまたはサンプルを与えられたエラー$epsilon$で真の値関数に収束する。
論文 参考訳（メタデータ） (2021-03-02T01:05:19Z) - On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics [8.160343645537106]
有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。
このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
論文 参考訳（メタデータ） (2020-07-30T17:47:05Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳（メタデータ） (2020-02-24T21:32:41Z) - A Corrective View of Neural Networks: Representation, Memorization and
Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。
ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。
また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-01T20:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。