論文の概要: Fast approximation and learning of binary classification tasks in o-minimal structures using ReLU neural networks
- arxiv url: http://arxiv.org/abs/2607.01266v1
- Date: Mon, 29 Jun 2026 20:44:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.516968
- Title: Fast approximation and learning of binary classification tasks in o-minimal structures using ReLU neural networks
- Title（参考訳）: ReLUニューラルネットワークを用いたo最小構造における二項分類タスクの高速近似と学習
- Abstract要約: 実場のo-極小展開において、決定集合が定義可能な集合によって与えられる二項分類問題について検討する。
定義可能な集合の細胞分解を動機として、定義可能な決定領域の古典的プロキシとしてトレーサブル集合を導入し、ReLUニューラルネットワークによる近似を解析する。
- 参考スコア（独自算出の注目度）: 0.6153038651687485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study binary classification problems whose decision sets are given by definable sets in o-minimal expansions of the real field. Motivated by cell decomposition of definable sets, we introduce traceable sets as a classical proxy for definable decision regions and analyze their approximation by ReLU neural networks. Under uniform bounds on the number of connected components and suitable $C^m$ extensions for the boundary functions, we prove that characteristic functions of traceable subsets of $[-1/2,1/2]^n$ can be approximated in $L^p$ to accuracy $\varepsilon>0$ by ReLU neural networks of size $\mathcal{O}(\varepsilon^{-p(n-1)/m})$, with depth independent of $\varepsilon$ and polynomially bounded weights. This establishes quantitative approximation rates for certain definable collections in o-minimal structures using ReLU neural networks. The same approach also yields the stated approximation rates for a subclass of definable maps $[-1/2,1/2]^n \to \mathbb{R}$. We then combine the approximation capabilities with entropy estimates for ReLU neural network classes to obtain statistical learning rates for empirical risk minimization with hinge loss. For $N$ uniformly distributed samples, the resulting classifiers achieve expected misclassification error of order $N^{-m/(m+pn-p)}$ up to an arbitrarily small polynomial loss.
- Abstract（参考訳）: 実場のo-極小展開において、決定集合が定義可能な集合によって与えられる二項分類問題について検討する。
定義可能な集合の細胞分解に動機付け,定義可能な決定領域の古典的プロキシとしてトレーサブル集合を導入し,ReLUニューラルネットワークによる近似解析を行った。
連結成分の数と境界関数に対する適切な$C^m$拡張の均一な境界の下で、$[-1/2,1/2]^n$ のトレーサブル部分集合の特性関数が $L^p$ to accuracy $\varepsilon>0$ の ReLU ニューラルネットワークの$\mathcal{O}(\varepsilon^{-p(n-1)/m})$ で近似できることを証明する。
これにより、ReLUニューラルネットワークを用いて、O-ミニマル構造の特定の定義可能なコレクションの定量的近似率を確立する。
同じアプローチは、定義可能な写像のサブクラスに対して述べた近似率を$[-1/2,1/2]^n \to \mathbb{R}$とする。
次に、近似能力をReLUニューラルネットワーククラスのエントロピー推定と組み合わせて、ヒンジ損失を伴う経験的リスク最小化のための統計的学習率を求める。
均一に分散されたサンプルに対して、結果として得られる分類器は、任意の小さな多項式損失までのオーダー$N^{-m/(m+pn-p)}$の誤分類誤差を達成する。
関連論文リスト
- Can Neural Networks Achieve Optimal Computational-statistical Tradeoff? An Analysis on Single-Index Model [53.6316818897326]
本稿では,2層ニューラルネットワークを時間内にトレーニングするための勾配に基づくアルゴリズムを提案する。
このアルゴリズムは未知の信号$star$と強く一致したスパース表現を学習することを示す。
私たちは、$star$が$k$-sparse for $k = o(sqrtd)$という設定にアプローチを拡張します。
論文 参考訳（メタデータ） (2026-06-13T09:34:39Z) - Limitations of Learning Tanh Neural Networks with Finite Precision [3.4519796338615225]
我々は、$m$サンプルに基づく適応的ランダム化アルゴリズムが、$Lp$ノルムのモンテカルロレート$O(m-1/p)$よりも高い収束率を得ることができないことを示した。
その結果、局所的なバンプ関数を含むクラスの学習性に対する有限精度による基本的な制限が明らかになった。
論文 参考訳（メタデータ） (2026-06-09T17:02:27Z) - Gradient Descent with Projection Finds Over-Parameterized Neural Networks for Learning Low-Degree Polynomials with Nearly Minimax Optimal Rate [15.975065054204753]
本稿では、真次を識別し、ほぼ最適な回帰率を達成する新しい適応度選択アルゴリズムを提案する。
我々の結果は、通常のニューラル・タンジェント・カーネル(NTK)限界を超えています。
論文 参考訳（メタデータ） (2026-03-22T05:06:17Z) - Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。
また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。
我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Polynomial-Time Solutions for ReLU Network Training: A Complexity
Classification via Max-Cut and Zonotopes [70.52097560486683]
我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。
特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
論文 参考訳（メタデータ） (2023-11-18T04:41:07Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z) - A Corrective View of Neural Networks: Representation, Memorization and
Learning [26.87238691716307]
我々はニューラルネットワーク近似の補正機構を開発する。
ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。
また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-01T20:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。