論文の概要: Boundary Geometry Determines Optimal Shallow ReLU Approximation under Weighted Coefficient Constraints
- arxiv url: http://arxiv.org/abs/2610.36854v1
- Date: Tue, 27 Oct 2026 08:51:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.548482
- Title: Boundary Geometry Determines Optimal Shallow ReLU Approximation under Weighted Coefficient Constraints
- Title(参考訳): 重み付き係数制約下での最適Shallow ReLU近似の境界幾何学による決定
- Abstract要約: 境界幾何学は凸体上の浅いReLUニューラルネットワークによる近似$Lq$に影響を与える。
任意の凸体に対して上下境界を確立する。
境界幾何学は, 次元, 誤差ノルム, 重み付けが固定された場合でも最適指数を変化させることができる。
- 参考スコア(独自算出の注目度): 7.820614736576814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study how boundary geometry affects $L^q$ approximation by shallow ReLU neural networks on convex bodies $K\subset\mathbb R^d$. The target classes are unit balls of weighted variation spaces that can enlarge classical spaces by incorporating domain geometry into constraints on output coefficients. We establish upper and lower bounds for arbitrary convex bodies and determine the optimal polynomial approximation exponents for all planar convex bodies and their products with polytopes, including cubes and circular cylinders. For $C^2$ convex bodies, we determine the optimal exponents in a dimension-dependent range of $q$ extending beyond $2$. When all principal curvatures are positive, the result extends to every finite $q\ge2$. For these classes, the dependence of the optimal exponent on the domain is captured by a single geometric growth exponent associated with small boundary caps. We also identify sharp weight thresholds for retaining the classical approximation exponent and improve previous weights on Euclidean balls while preserving the classical $L^2$ approximation rate. When the target is given as a finite ReLU network, the upper bounds can be realized by a compressed network using only the original neurons, without increasing the weighted coefficient sum. These results show that boundary geometry can change the optimal exponent even when dimension, error norm, and weighting rule are fixed.
- Abstract(参考訳): 境界幾何学が凸体上の浅いReLUニューラルネットワークによる$L^q$近似にどのように影響するかを、K\subset\mathbb R^d$で検討する。
対象クラスは重み付き変動空間の単位球で、領域幾何学を出力係数の制約に組み込むことで古典空間を拡大することができる。
任意の凸体に対する上および下界を確立し、すべての平面凸体とその積に対する最適多項式近似指数を立方体や円柱を含むポリトープで決定する。
凸体が$C^2$の場合、$q$の次元依存範囲における最適指数は$2$を超えて決定される。
すべての主曲率が正のとき、結果はすべての有限$q\ge2$に拡張される。
これらのクラスでは、領域に対する最適指数の依存は、小さな境界キャップに付随する単一の幾何学的成長指数によって捉えられる。
また,古典的な近似指数を維持するためのシャープウェイト閾値を同定し,古典的な$L^2$の近似率を維持しながらユークリッド球の以前の重みを改善する。
ターゲットが有限ReLUネットワークとして与えられると、重み付け係数和を増大させることなく、元のニューロンのみを用いて圧縮されたネットワークによって上界を実現することができる。
これらの結果は,次元,誤差ノルム,重み付け規則が固定された場合でも,境界幾何学が最適指数を変化させることを示す。
関連論文リスト
- Differential Privacy of Gradient Descent on Perturbed Objectives [29.980999010899733]
我々は、$wmapsto F(w;S)+langle z,wrangle$上で、決定論的勾配勾配の繰り返しを$N$-thで解放することによって得られる有限計算について検討する。
リプシッツ・ヘシアンとの強い凸かつ滑らかな目的のために、写像 $zmapsto w_N$ がプライバシー引数で使われる有界領域上の$C1$-微分同相写像であるという明示的な条件を証明する。
論文 参考訳(メタデータ) (2026-10-02T02:52:50Z) - The First-Order Oracle Complexity of Lipschitz Convex Optimization in Nondual Settings [19.52344367809103]
目的のための$ell_p$-ball上での1次ブラックボックス凸最適化について,$ell_q$-normで検討した。
我々の結果は一般に、実現可能な集合 $X$ と可能な下位次数の集合 $H$ が凸であり、中心対称であり、ミンマックスの定理の一種を認めるときに適用される。
論文 参考訳(メタデータ) (2026-09-17T16:55:54Z) - Boundary-Adapted PINNs for Elliptic Dirichlet Problems: $H^2(Ω)$ A Priori Error Bounds with Application to Mean Escape Time Computation [14.109379170744546]
境界強化物理情報ニューラルネットワーク(PINN)を用いた楕円ディリクレ境界値問題(BVP)について検討する。
プリミティブエラーバウンダリを導出し、$$への依存を明確にします。
我々の証明はまた、ReQU および tanh ネットワークの高階微分の仮説空間に対して、新しい VC-次元境界を与える。
論文 参考訳(メタデータ) (2026-07-21T15:03:42Z) - Dimension Reduction for Curves: Simplified and Generalized [56.23281156053955]
我々は高次元多角曲線の次元を減少させるためにランダムな射影を再考する。
我々は、既知の$O(varepsilon-2log(nm))$がランダム射影のターゲット次元に有界であることの簡単な証明を与える。
我々の証明はスパース・オブリビラスな部分空間埋め込みの概念に基づいている。
論文 参考訳(メタデータ) (2026-07-03T08:48:35Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳(メタデータ) (2026-05-23T22:00:38Z) - Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
Scoreベースの生成モデルは高次元空間で訓練されていることを示す。
有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
論文 参考訳(メタデータ) (2026-05-15T10:20:05Z) - Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳(メタデータ) (2026-03-19T15:53:41Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Restricted Strong Convexity of Deep Learning Models with Smooth
Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。
Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。
深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文 参考訳(メタデータ) (2022-09-29T21:24:26Z) - Exponential ReLU Neural Network Approximation Rates for Point and Edge
Singularities [0.0]
ポリトープ領域の重み付け解析関数クラスに対して,安定なReLUニューラルネット(ReLU NN)を$H1(Omega)$で表現する。
指数近似速度は、直線面を持つリプシッツ多角形の空間次元$d = 2$、平面面を持つフィチェラ型多面体領域における空間次元$d=3$で表される。
論文 参考訳(メタデータ) (2020-10-23T07:44:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。