論文の概要: Characterization of the Variation Spaces Corresponding to Shallow Neural
Networks
- arxiv url: http://arxiv.org/abs/2106.15002v1
- Date: Mon, 28 Jun 2021 22:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 15:42:16.676887
- Title: Characterization of the Variation Spaces Corresponding to Shallow Neural
Networks
- Title(参考訳): 浅層ニューラルネットワークに対応する変動空間のキャラクタリゼーション
- Authors: Jonathan W. Siegel, Jinchao Xu
- Abstract要約: 我々は、$L2(Omega)$ の関数の辞書に対応する変分空間を考察し、これらの空間における近似の基本的な理論を提示する。
浅いReLU$k$ネットワークに対応する辞書や、崩壊するフーリエモードの辞書を含む多くのケースにおいて、2つの定義が一致することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the variation space corresponding to a dictionary of functions in
$L^2(\Omega)$ and present the basic theory of approximation in these spaces.
Specifically, we compare the definition based on integral representations with
the definition in terms of convex hulls. We show that in many cases, including
the dictionaries corresponding to shallow ReLU$^k$ networks and a dictionary of
decaying Fourier modes, that the two definitions coincide. We also give a
partial characterization of the variation space for shallow ReLU$^k$ networks
and show that the variation space with respect to the dictionary of decaying
Fourier modes corresponds to the Barron spectral space.
- Abstract(参考訳): l^2(\omega)$ の関数辞書に対応する変分空間を考察し、これらの空間における近似の基本理論を提案する。
具体的には、積分表現に基づく定義と凸包の項による定義を比較する。
浅いReLU$^k$ネットワークに対応する辞書や、崩壊するフーリエモードの辞書を含む多くのケースにおいて、2つの定義が一致することを示す。
また、浅いReLU$^k$ネットワークに対する変分空間の部分的特徴付けを行い、崩壊するフーリエモードの辞書に対する変分空間がバロンスペクトル空間に対応することを示す。
関連論文リスト
- Exact dynamics of quantum dissipative $XX$ models: Wannier-Stark localization in the fragmented operator space [49.1574468325115]
振動と非振動崩壊を分離する臨界散逸強度において例外的な点が見つかる。
また、演算子部分空間全体の単一減衰モードにつながる異なるタイプの散逸についても記述する。
論文 参考訳(メタデータ) (2024-05-27T16:11:39Z) - A unified Fourier slice method to derive ridgelet transform for a variety of depth-2 neural networks [14.45619075342763]
リッジレット変換は、与えられた関数$f$をパラメータ分布$gamma$にマッピングする擬逆演算子である。
ユークリッド空間上のディープ2完全連結ネットワークに対して、リッジレット変換は閉形式表現まで発見されている。
有限体 $mathbbF_p$ 上のネットワーク、抽象ヒルベルト空間 $mathcalH$ 上の群畳み込みネットワーク、非コンパクト対称空間 $G/K$ 上の完全連結ネットワーク、プーリング層など、様々な現代的なネットワークに対して変換を導出する。
論文 参考訳(メタデータ) (2024-02-25T04:30:04Z) - Space-Time Approximation with Shallow Neural Networks in Fourier
Lebesgue spaces [1.74048653626208]
ボヒナー・ソボレフ空間における異方性重み付きフーリエ・ルベーグ空間の包含について検討する。
異方性重み付きフーリエ・ルベーグ空間からの関数の近似率とボヒナー・ソボレフノルムのSNNによる近似の有界性を確立する。
論文 参考訳(メタデータ) (2023-12-13T19:02:27Z) - Extracting a functional representation from a dictionary for non-rigid
shape matching [15.352715230516486]
そこで本研究では,内在的制限に対処するため,辞書の関数型主成分(PCD)を提案する。
PCDは、その形状上で定義された関数の辞書の主成分分析(PCA)から正規直交基底を構成する。
実験により,PCDは異なる形状マッチングシナリオに適合することを示すため,確立されたベンチマークで7つの辞書を比較した。
論文 参考訳(メタデータ) (2023-05-17T16:15:55Z) - Learning Invariant Subspaces of Koopman Operators--Part 2: Heterogeneous
Dictionary Mixing to Approximate Subspace Invariance [0.0]
この研究は、データからクープマン作用素の近似辞書表現を学ぶために、パート1で提示されたモデルと概念に基づいている。
ヘテロジニアス辞書関数の構造化混合はディープラーニングに基づくディープDMDアルゴリズムと同じ精度と次元のスケーリングを実現する。
論文 参考訳(メタデータ) (2022-12-14T17:40:00Z) - Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。
我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
論文 参考訳(メタデータ) (2022-02-11T13:51:30Z) - Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。
本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文 参考訳(メタデータ) (2020-12-09T20:19:32Z) - Spatial Transformer Point Convolution [47.993153127099895]
点雲上での異方性畳み込みフィルタを実現するための空間変圧器点畳み込み法を提案する。
暗黙的な幾何学的構造を捉え表現するために,特に空間方向辞書を導入する。
変換空間では、標準画像のような畳み込みを利用して異方性フィルタリングを生成することができる。
論文 参考訳(メタデータ) (2020-09-03T03:12:25Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳(メタデータ) (2020-03-07T01:56:20Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳(メタデータ) (2020-02-24T21:32:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。