論文の概要: Mixture of Experts Soften the Curse of Dimensionality in Operator Learning
- arxiv url: http://arxiv.org/abs/2404.09101v1
- Date: Sat, 13 Apr 2024 23:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 15:27:43.984904
- Title: Mixture of Experts Soften the Curse of Dimensionality in Operator Learning
- Title（参考訳）: エキスパートの混在がオペレーター学習における次元の曲線を軟化させる
- Authors: Anastasis Kratsios, Takashi Furuya, J. Antonio Lara B., Matti Lassas, Maarten de Hoop,
- Abstract要約: 我々は,専門的ニューラル演算子のネットワーク上に分散した関数空間間のニューラル演算子(MoNO)の混合を構成する。
L2,[0,1]d)$空間の間の任意のリプシッツ非線型作用素がソボレフ単位球上で、与えられた任意の$varepsilon>0$精度に対して等しく近似できることを保証するテキスト分散普遍近似定理である。
- 参考スコア（独自算出の注目度）: 8.430534714651092
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we construct a mixture of neural operators (MoNOs) between function spaces whose complexity is distributed over a network of expert neural operators (NOs), with each NO satisfying parameter scaling restrictions. Our main result is a \textit{distributed} universal approximation theorem guaranteeing that any Lipschitz non-linear operator between $L^2([0,1]^d)$ spaces can be approximated uniformly over the Sobolev unit ball therein, to any given $\varepsilon>0$ accuracy, by an MoNO while satisfying the constraint that: each expert NO has a depth, width, and rank of $\mathcal{O}(\varepsilon^{-1})$. Naturally, our result implies that the required number of experts must be large, however, each NO is guaranteed to be small enough to be loadable into the active memory of most computers for reasonable accuracies $\varepsilon$. During our analysis, we also obtain new quantitative expression rates for classical NOs approximating uniformly continuous non-linear operators uniformly on compact subsets of $L^2([0,1]^d)$.
- Abstract（参考訳）: 本稿では,専門的ニューラル演算子(NO)のネットワーク上に分散する関数空間間のニューラル演算子(MoNO)の混合を構築し,各NOがパラメータスケーリングの制約を満たす。
L^2([0,1]^d)$空間の間の任意のリプシッツ非線型作用素がソボレフ単位球上で、与えられた任意の$\varepsilon>0$精度に対して等しく近似できることを保証する普遍近似定理である: 各専門家 NO は深さ、幅、ランクが $\mathcal{O}(\varepsilon^{-1})$ である。
当然、我々の結果は、要求される専門家の数は大きい必要があることを示唆するが、各NOは、妥当なアキュラシー$\varepsilon$に対して、ほとんどのコンピュータのアクティブメモリにロード可能なくらい小さいことが保証されている。
解析中、我々はまた、$L^2([0,1]^d)$のコンパクト部分集合上で一様連続な非線形作用素を一様に近似する古典NOsに対する新しい定量的表現率を得る。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Simultaneously Solving FBSDEs with Neural Operators of Logarithmic Depth, Constant Width, and Sub-Linear Rank [8.517406772939292]
フォワード・バックワード微分方程式(FBSDEs)は、最適制御、ゲーム理論、経済学、数学ファイナンスの中心である。
Small'' NOs は FBSDEs の構造された族に対する解演算子を均一に近似できることを示す。
また、同様の深さ、幅、ランクの畳み込みNOは、解作用素を楕円型PDEの広いクラスに近似することができることを示す。
論文 参考訳（メタデータ） (2024-10-18T18:01:40Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Primal-dual extrapolation methods for monotone inclusions under local Lipschitz continuity [1.0742675209112622]
単調な包摂問題の解法として, 単調な外挿法を提案する。
提案手法は$cal O(log epsilon-1)$の演算複雑性を享受する。
また、凸円錐最適化の $varepsilon$-KKT や $varepsilon$-residual の解を求めるためにも得られる。
論文 参考訳（メタデータ） (2022-06-02T10:31:45Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Arbitrary-Depth Universal Approximation Theorems for Operator Neural
Networks [1.7499351967216341]
我々は、幅と深さの演算子NNが連続非線形演算子に対する普遍近似であることを証明した。
非アフィン活性化関数に類似した結果を導出する。
論文 参考訳（メタデータ） (2021-09-23T13:03:53Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Nonparametric approximation of conditional expectation operators [0.3655021726150368]
最小の仮定の下で、$[Pf](x) := mathbbE[f(Y) mid X = x ]$ で定義される$L2$-operatorの近似について検討する。
我々は、再生されたカーネル空間上で作用するヒルベルト・シュミット作用素により、作用素ノルムにおいて$P$が任意に適切に近似できることを証明した。
論文 参考訳（メタデータ） (2020-12-23T19:06:12Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。