論文の概要: Weighted variation spaces and approximation by shallow ReLU networks
- arxiv url: http://arxiv.org/abs/2307.15772v1
- Date: Fri, 28 Jul 2023 19:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 19:34:32.291160
- Title: Weighted variation spaces and approximation by shallow ReLU networks
- Title(参考訳): 浅いReLUネットワークによる重み付き変動空間と近似
- Authors: Ronald DeVore, Robert D. Nowak, Rahul Parhi, and Jonathan W. Siegel
- Abstract要約: 境界領域$Omegasubset mathbbRd$ 上の関数 $f$ を、幅$n$ の単層 ReLU ニューラルネットワークの出力によって近似する。
この形式のNNAにはいくつかの有名な近似結果があり、Omega$に新しいモデルの関数クラスを導入し、近似レートは次元の呪いを避ける。
- 参考スコア(独自算出の注目度): 11.808562707477586
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the approximation of functions $f$ on a bounded domain
$\Omega\subset \mathbb{R}^d$ by the outputs of single-hidden-layer ReLU neural
networks of width $n$. This form of nonlinear $n$-term dictionary approximation
has been intensely studied since it is the simplest case of neural network
approximation (NNA). There are several celebrated approximation results for
this form of NNA that introduce novel model classes of functions on $\Omega$
whose approximation rates avoid the curse of dimensionality. These novel
classes include Barron classes, and classes based on sparsity or variation such
as the Radon-domain BV classes.
The present paper is concerned with the definition of these novel model
classes on domains $\Omega$. The current definition of these model classes does
not depend on the domain $\Omega$. A new and more proper definition of model
classes on domains is given by introducing the concept of weighted variation
spaces. These new model classes are intrinsic to the domain itself. The
importance of these new model classes is that they are strictly larger than the
classical (domain-independent) classes. Yet, it is shown that they maintain the
same NNA rates.
- Abstract(参考訳): 境界領域 $\Omega\subset \mathbb{R}^d$ 上の関数 $f$ の近似を,幅 $n$ の単層ReLUニューラルネットワークの出力により検討する。
この非線形$n$項辞書近似は、ニューラルネットワーク近似(NNA)の最も単純な場合であるため、非常に研究されている。
この形式のNNAにはいくつかの有名な近似結果があり、$\Omega$に関数の新しいモデルクラスを導入し、近似レートは次元の呪いを避ける。
これらの新しいクラスはバロンクラスを含み、スパルシティやラドンドメインbvクラスのようなバリエーションに基づくクラスである。
本稿では、これらのドメイン上の新しいモデルクラスを$\Omega$で定義する。
これらのモデルクラスの現在の定義はドメイン$\Omega$に依存しない。
ドメイン上のモデルクラスの新しいより適切な定義は、重み付き変分空間の概念を導入することによって与えられる。
これらの新しいモデルクラスはドメイン自体に固有のものです。
これらの新しいモデルクラスの重要性は、それらが古典的な(ドメインに依存しない)クラスよりも厳密に大きいことである。
しかし、彼らは同じNNAレートを維持している。
関連論文リスト
- GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node
Classification [64.85392028383164]
クラス不均衡は、いくつかのクラスが他のクラスよりもはるかに少ないインスタンスを持つ現象である。
近年の研究では、既成のグラフニューラルネットワーク(GNN)が、マイナーなクラスサンプルを以下に表現することが確認されている。
HArderマイナーサンプルの合成によるGraphSHAの汎用化を提案する。
論文 参考訳(メタデータ) (2023-06-16T04:05:58Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳(メタデータ) (2022-12-23T04:48:04Z) - Multi-Domain Long-Tailed Learning by Augmenting Disentangled
Representations [80.76164484820818]
多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。
本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。
TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
論文 参考訳(メタデータ) (2022-10-25T21:54:26Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳(メタデータ) (2022-06-17T21:11:36Z) - Regular Polytope Networks [29.44144177954405]
我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。
また、固定および最大分離埋め込みを学ぶために使用することができます。
埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
論文 参考訳(メタデータ) (2021-03-29T14:11:32Z) - On the Generalization Power of Overfitted Two-Layer Neural Tangent
Kernel Models [42.72822331030195]
min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語)
本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。
このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
論文 参考訳(メタデータ) (2021-03-09T06:24:59Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳(メタデータ) (2020-09-21T02:48:46Z) - On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics [8.160343645537106]
有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。
このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
論文 参考訳(メタデータ) (2020-07-30T17:47:05Z) - Large scale analysis of generalization error in learning using margin
based classification methods [2.436681150766912]
サンプルサイズ$n$と次元$p$の両方の極限で、大マルジン分類器の族を一般化誤差とする式を導出する。
2層ニューラルネットワークでは、最近開発された2重降下現象をいくつかの分類モデルで再現する。
論文 参考訳(メタデータ) (2020-07-16T20:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。