論文の概要: Super-fast rates of convergence for Neural Networks Classifiers under the Hard Margin Condition
- arxiv url: http://arxiv.org/abs/2505.08262v1
- Date: Tue, 13 May 2025 06:26:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-14 20:57:54.446898
- Title: Super-fast rates of convergence for Neural Networks Classifiers under the Hard Margin Condition
- Title（参考訳）: ハードマージン条件下でのニューラルネットワーク分類器の超高速収束率
- Authors: Nathanael Tepakbong, Ding-Xuan Zhou, Xiang Zhou,
- Abstract要約: DNNは二乗損失代理と$ell_p$ペナルティによる経験的リスクを最小限に抑えることができ、ハードマージン条件下では、任意の大きさの$alpha>0$に対して$mathcalOleft(n-alpharight)$の有限サンプル超過リスクを達成できることを示す。
この証明は、独立した利害関係にある可能性のある過剰リスクの新たな分解に依存している。
- 参考スコア（独自算出の注目度）: 9.993044620455338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the classical binary classification problem for hypothesis spaces of Deep Neural Networks (DNNs) with ReLU activation under Tsybakov's low-noise condition with exponent $q>0$, and its limit-case $q\to\infty$ which we refer to as the "hard-margin condition". We show that DNNs which minimize the empirical risk with square loss surrogate and $\ell_p$ penalty can achieve finite-sample excess risk bounds of order $\mathcal{O}\left(n^{-\alpha}\right)$ for arbitrarily large $\alpha>0$ under the hard-margin condition, provided that the regression function $\eta$ is sufficiently smooth. The proof relies on a novel decomposition of the excess risk which might be of independent interest.
- Abstract（参考訳）: 本稿では,Tsybakovの低雑音条件下でのReLUアクティベートを伴うディープニューラルネットワーク(DNN)の仮説空間に対する古典的二項分類問題と,その極限ケースである$q\to\infty$について検討する。
DNNは二乗損失サロゲートと$\ell_p$のペナルティで経験的リスクを最小限に抑えることができ、回帰関数 $\eta$ が十分滑らかであることを条件として、任意に大きい $\alpha>0$ に対して位数 $\mathcal{O}\left(n^{-\alpha}\right)$ の有限サンプル過剰リスク境界を達成できることを示す。
この証明は、独立した利害関係にある可能性のある過剰リスクの新たな分解に依存している。
関連論文リスト
- Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Adversarial Contextual Bandits Go Kernelized [21.007410990554522]
本研究では、ヒルベルト核空間に属する損失関数を組み込むことにより、逆線形文脈帯域におけるオンライン学習の問題を一般化する。
本稿では,損失関数を推定し,ほぼ最適の後悔の保証を再現するための新しい楽観的偏り推定器を提案する。
論文 参考訳（メタデータ） (2023-10-02T19:59:39Z) - Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。
最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
論文 参考訳（メタデータ） (2023-07-25T15:42:11Z) - Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。
スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。
理論的予測を確認するための予備的な数値的証拠が提供される。
論文 参考訳（メタデータ） (2022-03-17T16:12:56Z) - Localization, Convexity, and Star Aggregation [0.0]
オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。
統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
論文 参考訳（メタデータ） (2021-05-19T00:47:59Z) - Stability and Deviation Optimal Risk Bounds with Convergence Rate
$O(1/n)$ [4.1499725848998965]
経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。
O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
論文 参考訳（メタデータ） (2021-03-22T17:28:40Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。