Fugu-MT 論文翻訳(概要): Super-fast rates of convergence for Neural Networks Classifiers under the Hard Margin Condition

論文の概要: Super-fast rates of convergence for Neural Networks Classifiers under the Hard Margin Condition

arxiv url: http://arxiv.org/abs/2505.08262v1
Date: Tue, 13 May 2025 06:26:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-14 20:57:54.446898
Title: Super-fast rates of convergence for Neural Networks Classifiers under the Hard Margin Condition
Title（参考訳）: ハードマージン条件下でのニューラルネットワーク分類器の超高速収束率
Authors: Nathanael Tepakbong, Ding-Xuan Zhou, Xiang Zhou,
Abstract要約: DNNは二乗損失代理と$ell_p$ペナルティによる経験的リスクを最小限に抑えることができ、ハードマージン条件下では、任意の大きさの$alpha>0$に対して$mathcalOleft(n-alpharight)$の有限サンプル超過リスクを達成できることを示す。この証明は、独立した利害関係にある可能性のある過剰リスクの新たな分解に依存している。
参考スコア（独自算出の注目度）: 9.993044620455338
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study the classical binary classification problem for hypothesis spaces of Deep Neural Networks (DNNs) with ReLU activation under Tsybakov's low-noise condition with exponent $q>0$, and its limit-case $q\to\infty$ which we refer to as the "hard-margin condition". We show that DNNs which minimize the empirical risk with square loss surrogate and $\ell_p$ penalty can achieve finite-sample excess risk bounds of order $\mathcal{O}\left(n^{-\alpha}\right)$ for arbitrarily large $\alpha>0$ under the hard-margin condition, provided that the regression function $\eta$ is sufficiently smooth. The proof relies on a novel decomposition of the excess risk which might be of independent interest.
Abstract（参考訳）: 本稿では,Tsybakovの低雑音条件下でのReLUアクティベートを伴うディープニューラルネットワーク(DNN)の仮説空間に対する古典的二項分類問題と,その極限ケースである$q\to\infty$について検討する。 DNNは二乗損失サロゲートと$\ell_p$のペナルティで経験的リスクを最小限に抑えることができ、回帰関数 $\eta$ が十分滑らかであることを条件として、任意に大きい $\alpha>0$ に対して位数 $\mathcal{O}\left(n^{-\alpha}\right)$ の有限サンプル過剰リスク境界を達成できることを示す。この証明は、独立した利害関係にある可能性のある過剰リスクの新たな分解に依存している。

関連論文リスト

Multiclass Loss Geometry Matters for Generalization of Gradient Descent in Separable Classification [27.33243506775655]
分離線形分類のための非正規化手法の一般化性能について検討する。収束速度は損失テンプレートの幾何に大きく影響されていることを示す。
論文参考訳（メタデータ） (2025-05-28T13:39:14Z)
Minimax learning rates for estimating binary classifiers under margin conditions [0.0]
水平関数によって決定境界を記述する二分推定器を用いた分類問題について検討する。我々は、ルベーグノルムの有界コルモゴロフエントロピーを持つ広関数クラスに対するミニマックス学習率の上限と下限を確立する。
論文参考訳（メタデータ） (2025-05-15T18:05:10Z)
Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文参考訳（メタデータ） (2024-11-12T11:30:53Z)
Adversarial Contextual Bandits Go Kernelized [21.007410990554522]
本研究では、ヒルベルト核空間に属する損失関数を組み込むことにより、逆線形文脈帯域におけるオンライン学習の問題を一般化する。本稿では,損失関数を推定し,ほぼ最適の後悔の保証を再現するための新しい楽観的偏り推定器を提案する。
論文参考訳（メタデータ） (2023-10-02T19:59:39Z)
Settling the Sample Complexity of Online Reinforcement Learning [92.02082223856479]
バーンインコストを発生させることなく、最小限の最適後悔を実現する方法を示す。最適値/コストや一定の分散といった問題依存量の影響を明らかにするために、我々の理論を拡張します。
論文参考訳（メタデータ） (2023-07-25T15:42:11Z)
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文参考訳（メタデータ） (2022-04-06T13:50:33Z)
Stability and Risk Bounds of Iterative Hard Thresholding [41.082982732100696]
アルゴリズム安定性の概念の下でIHTの新しいスパース一般化理論を導入する。スパースレベル$k$のIHTは、スパース過剰リスクにおける収束率を$mathcaltilde O(n-1/2sqrtlog(n)log(p))$で楽しむことを示す。理論的予測を確認するための予備的な数値的証拠が提供される。
論文参考訳（メタデータ） (2022-03-17T16:12:56Z)
Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文参考訳（メタデータ） (2022-02-23T02:39:04Z)
Localization, Convexity, and Star Aggregation [0.0]
オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
論文参考訳（メタデータ） (2021-05-19T00:47:59Z)
Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$ [4.1499725848998965]
経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。 O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
論文参考訳（メタデータ） (2021-03-22T17:28:40Z)
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文参考訳（メタデータ） (2020-06-29T21:06:52Z)
Stochastic Bandits with Linear Constraints [69.757694218456]
制約付き文脈線形帯域設定について検討し、エージェントの目標は一連のポリシーを作成することである。楽観的悲観的線形帯域(OPLB)と呼ばれる,この問題に対する高信頼束縛アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-17T22:32:19Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。