論文の概要: High-dimensional classification problems with Barron regular boundaries under margin conditions

• arxiv url: http://arxiv.org/abs/2412.07312v1
• Date: Tue, 10 Dec 2024 08:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:38:23.253253
• Title: High-dimensional classification problems with Barron regular boundaries under margin conditions
• Title（参考訳）: 境界条件下におけるバロン正則境界の高次元分類問題
• Authors: Jonathan García, Philipp Petersen,
• Abstract要約: 特に、強辺条件では、高次元の不連続な分類器は、低次元の滑らかな函数を近似する際にのみ達成可能な速度で近似することができる。 これらの式レートが、サンプル数である$n-1$に近い高速レートの学習境界をどのように表すかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We prove that a classifier with a Barron-regular decision boundary can be approximated with a rate of high polynomial degree by ReLU neural networks with three hidden layers when a margin condition is assumed. In particular, for strong margin conditions, high-dimensional discontinuous classifiers can be approximated with a rate that is typically only achievable when approximating a low-dimensional smooth function. We demonstrate how these expression rate bounds imply fast-rate learning bounds that are close to $n^{-1}$ where $n$ is the number of samples. In addition, we carry out comprehensive numerical experimentation on binary classification problems with various margins. We study three different dimensions, with the highest dimensional problem corresponding to images from the MNIST data set.
• Abstract（参考訳）: 我々は,境界条件が仮定された場合,ReLUニューラルネットワークによって,バロン-正則な決定境界を持つ分類器を高い多項式次数で近似できることを証明した。 特に、強辺条件では、高次元の不連続な分類器は、低次元の滑らかな函数を近似する際にのみ達成可能な速度で近似することができる。 これらの式レートが、サンプルの数である$n^{-1}$に近い高速レートの学習境界をどのように表すかを示す。 さらに,種々のマージンを持つ二項分類問題に対して,包括的数値実験を行った。 MNISTデータセットの画像に対応する最も高い次元の問題を3つの異なる次元で研究する。

関連論文リスト

• From Gradient Clipping to Normalization for Heavy Tailed SGD [19.369399536643773]
  最近の実証的な証拠は、機械学習の応用が重尾ノイズを伴い、実際に有界分散の標準的な仮定に挑戦していることを示している。 本稿では, 勾配依存型雑音収束問題において, テール雑音下での厳密性を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:01Z)
• Fundamental computational limits of weak learnability in high-dimensional multi-index models [30.501140910531017]
  本稿では, 1次反復アルゴリズムを用いて低次元構造を弱めに復元するために必要な最小サンプル複雑性に着目した。 i) 自明な部分空間が任意の$alpha!>!0$; (ii) 自明な部分空間が空であれば、簡単な部分空間の存在に必要な必要十分条件を提供する。 限定的だが興味深い厳密な方向の集合において、-パリティ問題に似て-$alpha_c$が見つかる
  論文  参考訳（メタデータ） (2024-05-24T11:59:02Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers [16.618918548497223]
  本稿では,SGDの軌道に局在する新しい被覆手法を提案する。 このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。 これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
  論文  参考訳（メタデータ） (2022-09-19T12:11:07Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Optimal learning of high-dimensional classification problems using deep neural networks [0.0]
  雑音のないトレーニングサンプルから分類関数を学習する際の問題について,決定境界が一定の規則性であることを前提として検討する。 局所バロン-正則な決定境界のクラスでは、最適推定率は本質的に基底次元とは独立である。
  論文  参考訳（メタデータ） (2021-12-23T14:15:10Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)
• Online Sparse Reinforcement Learning [60.44832065993122]
  固定地平線, スパース線形決定過程(MDP)におけるオンライン強化学習の難しさについて検討する。 この場合、よく条件付きデータを収集するポリシーが存在するとしても、線形後悔は一般的に避けられないことを示す。 このことは、大規模な行動において、学習の難しさは、優れた探索政策を見つけるのが困難であることに起因していることを示している。
  論文  参考訳（メタデータ） (2020-11-08T16:47:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。