論文の概要: Weighted variation spaces and approximation by shallow ReLU networks
- arxiv url: http://arxiv.org/abs/2307.15772v2
- Date: Sun, 13 Oct 2024 15:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:03:51.261941
- Title: Weighted variation spaces and approximation by shallow ReLU networks
- Title（参考訳）: 浅いReLUネットワークによる重み付き変動空間と近似
- Authors: Ronald DeVore, Robert D. Nowak, Rahul Parhi, Jonathan W. Siegel,
- Abstract要約: 境界領域$Omegasubset mathbbRd$ 上の関数 $f$ を、幅$n$ の単層 ReLU ニューラルネットワークの出力によって近似する。
この形式のNNAには、入力次元で近似率が成長しない$Omega$上の新しいモデルの関数クラスを導入する、いくつかの有名な近似結果がある。
- 参考スコア（独自算出の注目度）: 21.943505573955505
- License:
- Abstract: We investigate the approximation of functions $f$ on a bounded domain $\Omega\subset \mathbb{R}^d$ by the outputs of single-hidden-layer ReLU neural networks of width $n$. This form of nonlinear $n$-term dictionary approximation has been intensely studied since it is the simplest case of neural network approximation (NNA). There are several celebrated approximation results for this form of NNA that introduce novel model classes of functions on $\Omega$ whose approximation rates do not grow unbounded with the input dimension. These novel classes include Barron classes, and classes based on sparsity or variation such as the Radon-domain BV classes. The present paper is concerned with the definition of these novel model classes on domains $\Omega$. The current definition of these model classes does not depend on the domain $\Omega$. A new and more proper definition of model classes on domains is given by introducing the concept of weighted variation spaces. These new model classes are intrinsic to the domain itself. The importance of these new model classes is that they are strictly larger than the classical (domain-independent) classes. Yet, it is shown that they maintain the same NNA rates.
- Abstract（参考訳）: 境界領域 $\Omega\subset \mathbb{R}^d$ 上の関数 $f$ の近似を、幅 $n$ の単層 ReLU ニューラルネットワークの出力により検討する。
この非線形$n$項辞書近似の形式は、ニューラルネットワーク近似(NNA)の最も単純な場合であるため、非常に研究されている。
この形式のNNAには、入力次元と非有界に近似速度が成長しない$\Omega$上の新しいモデルの関数クラスを導入する、いくつかの有名な近似結果がある。
これらの新しいクラスには、バロンクラス、ラドンドメインのBVクラスのようなスパーシティやバリエーションに基づくクラスが含まれる。
本稿では、これらのドメイン上の新しいモデルクラスを$\Omega$で定義することに関心がある。
これらのモデルクラスの現在の定義はドメイン$\Omega$に依存しない。
ドメイン上のモデルクラスの新しいより適切な定義は、重み付き変分空間の概念を導入することによって与えられる。
これらの新しいモデルクラスはドメイン自体に固有のものです。
これらの新しいモデルクラスの重要性は、それらが古典的な(ドメインに依存しない)クラスよりも厳密に大きいことである。
しかし、彼らは同じNNAレートを維持している。
関連論文リスト
- Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。
NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。
75%の圧縮速度でもフルサイズの性能を維持する。
論文 参考訳（メタデータ） (2024-10-10T14:49:58Z) - Dimension-independent learning rates for high-dimensional classification
problems [53.622581586464634]
各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。
次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
論文 参考訳（メタデータ） (2024-09-26T16:02:13Z) - Linguistic Collapse: Neural Collapse in (Large) Language Models [6.454374656250522]
スケール(および正規化)で発展する$mathcalNC$プロパティは一般化と関連している。
私たちの研究は、言語モデリングの斬新でより困難な設定にまで拡張されるにつれて、$mathcalNC$の一般性を強調しています。
論文 参考訳（メタデータ） (2024-05-28T02:46:11Z) - GraphSHA: Synthesizing Harder Samples for Class-Imbalanced Node
Classification [64.85392028383164]
クラス不均衡は、いくつかのクラスが他のクラスよりもはるかに少ないインスタンスを持つ現象である。
近年の研究では、既成のグラフニューラルネットワーク(GNN)が、マイナーなクラスサンプルを以下に表現することが確認されている。
HArderマイナーサンプルの合成によるGraphSHAの汎用化を提案する。
論文 参考訳（メタデータ） (2023-06-16T04:05:58Z) - Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。
我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
論文 参考訳（メタデータ） (2023-05-13T01:10:49Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - First Steps Toward Understanding the Extrapolation of Nonlinear Models
to Unseen Domains [35.76184529520015]
本稿では,構造的領域シフトに対する非線形モデルの外挿を解析するための最初のステップについて述べる。
我々は、$f(x)=sum f_i(x_i)$という形の非線形モデルの族が、目に見えない分布に外挿可能であることを証明した。
論文 参考訳（メタデータ） (2022-11-21T18:41:19Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Regular Polytope Networks [29.44144177954405]
我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。
また、固定および最大分離埋め込みを学ぶために使用することができます。
埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
論文 参考訳（メタデータ） (2021-03-29T14:11:32Z) - On the Generalization Power of Overfitted Two-Layer Neural Tangent
Kernel Models [42.72822331030195]
min $ell$-norm overfitting solution for the neural tangent kernel (NTK) model of a two-layer neural network. (英語)
本研究では, 地上真理関数に応じて, NTKモデルの試験誤差は, 「二重日射」と異なる特性を示すことを示した。
このクラス以外の関数に対しては、$n$ と $p$ の両方が大きかったとしても 0 に減少しない一般化エラーの低い境界を提供します。
論文 参考訳（メタデータ） (2021-03-09T06:24:59Z) - On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics [8.160343645537106]
有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。
このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
論文 参考訳（メタデータ） (2020-07-30T17:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。