論文の概要: Two-Layer Random ReLU Networks Can Separate Disjoint Classes
- arxiv url: http://arxiv.org/abs/2611.04211v1
- Date: Tue, 03 Nov 2026 02:52:27 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:31:22.676574
- Title: Two-Layer Random ReLU Networks Can Separate Disjoint Classes
- Title（参考訳）: 2層ランダムReLUネットワークは解離クラスを分離できる
- Abstract要約: 2つのクラスが必ずしも凸あるいは線形分離可能でなくても、有限ReLUネットワークによって正のマージンで分離できる場合について検討する。
有限ReLUネットワークによる正マージン分離は有限閉凸被覆の存在と同値であることを示す。
- 参考スコア（独自算出の注目度）: 2.3275369989775396
- License:
- Abstract: Set separation by continuous linear functionals is fundamental in functional analysis and convex optimization and underlies binary classification in machine learning. Support vector machines provide maximum-margin affine separators for linearly separable data, while kernel methods represent nonlinear decision rules through linear separation in a reproducing-kernel Hilbert space. We study when two classes, not necessarily convex or linearly separable in the input space, can be separated with positive margin by finite ReLU networks and by random ReLU features. At the deterministic level, we prove that positive-margin separation by a finite ReLU network is equivalent to the existence of finite closed convex covers whose opposite-label members have positive pairwise distances, and exactly two hidden layers suffice. For random separation, suppose each class is represented as a finite union of nonempty closed convex cells, possibly unbounded. If every opposite-label cell pair has positive distance and its closed difference cone is pointed, then two independent random ReLU layers yield a common positive-margin affine separator with high probability. The first layer separates the feature image of each negative cell from the feature image of the positive class by a hyperplane through the origin. It also controls all cross-class distances uniformly. The second layer combines cellwise scores through Chebyshev polynomials and realizes the resulting polynomial using Gaussian Hermite features, followed by a uniform finite-width approximation. With the remaining geometric, bias, and confidence parameters fixed, each sufficient width is quadratic in the largest Gaussian width of a spherical difference-cone section, hence at most linear in its span dimension. An example shows that this squared Gaussian-width dependence is sharp for both layers.
- Abstract（参考訳）: 連続線形汎関数による集合分離は、関数解析と凸最適化において基本的であり、機械学習における二項分類の基礎となる。
サポートベクターマシンは線形分離可能なデータに対して最大マージンアフィンセパレータを提供し、カーネルメソッドは再生カーネルヒルベルト空間における線形分離による非線形決定規則を表現している。
入力空間において必ずしも凸あるいは線形分離可能でない2つのクラスが有限ReLUネットワークとランダムReLU特徴によって正のマージンで分離できる場合について検討する。
決定論的レベルでは、有限ReLUネットワークによる正マージン分離は、正の対角距離を持つ有限閉凸被覆の存在と同値であり、正確に2つの隠れ層が十分であることを示す。
ランダム分離の場合、各クラスは空でない閉凸セルの有限和として表されるが、おそらくは非有界である。
すべての反対ラベルセル対が正距離を持ち、その閉差錐が示される場合、2つの独立したランダムなReLU層は、高い確率で共通の正マージンアフィンセパレータを生成する。
第1層は、原点を介して、各負のセルの特徴像と正のクラスの特徴像とを超平面で分離する。
また、全てのクラス間の距離を均一に制御する。
第2の層はチェビシェフ多項式を通してセルワイズスコアを合成し、ガウス的エルミート特徴を用いて結果として得られる多項式を実現し、続いて均一な有限幅近似を行う。
残りの幾何、バイアス、信頼パラメータが固定された場合、各十分幅は球面差錐断面の最大のガウス幅で二次的であり、従ってそのスパン次元において最も線型である。
例えば、この正方形ガウス幅依存は両方の層に対して鋭いことを示している。
関連論文リスト
- Polynomial Learning of Positive ReLU Networks under Gaussian Inputs [7.390615334369365]
標準ガウス入力の下で, 正, 無バイアス, 単層ReLUネットワークについて検討する。
隠れた方向の仮定を分離したり条件付けしたりすることなく、サンプル誤差と実数演算の複雑さを持つアルゴリズムを得る。
論文 参考訳（メタデータ） (2026-10-18T08:46:44Z) - Minimal-Norm Univariate Two-Layer ReLU Classification: Exact Solutions and Global Optimality with Skip Connections [8.392981584615955]
単層ReLUネットワークによる二元分類のための最小ノルムおよび$ell$regularized logistic-loss最小化について検討する。
パラメータノルムに隠れ層バイアスが組み込まれているかどうかにどのように依存するかを示す。
アンペナル化バイアスの場合、スペーサのような制限が加わり、ほとんどの極小ノルム補間器が小さな正則化限界として生じないことが示唆される。
論文 参考訳（メタデータ） (2026-09-23T17:37:26Z) - Exact Rank-Space KL Projection for Shared-Marginal Low-Rank Factors: Application to Doubly Stochastic Clustering [0.7614628596146601]
等しい全質量の任意の正の行辺に対して、合同KL射影はちょうど$r-1の有効変数のみを持つ厳密な凸ゲージ固定双対に還元される。
この幾何学を専門とし、$W=UnameDiag(g)-1Vtop$で2倍グラフ学習を誘導する。
観察されたスパースフィッティング、アンカーエッジ多様体正規化器、ブレグマンのバックトラックと組み合わせることで、ミラー・ディフレッシュ法は受け入れられたステップごとに正確な実現可能性を維持する。
論文 参考訳（メタデータ） (2026-08-09T11:29:05Z) - Classification by Separating Hypersurfaces: An Entropic Approach [0.0]
我々は、$mathbb RN$のベクトルとして表される属性の集合によって特徴づけられる個人の分類問題を考察する。
目的は、2つの異なるクラスに対応する2つの点の集合を分離する$mathbb RN$の超平面を見つけることである。
我々は,有界な$N-次元ハイパーキューブにおけるパラメータのベクトルを探索することで,新しい手法を提案する。
論文 参考訳（メタデータ） (2025-07-03T15:43:54Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization [59.87663954467815]
アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
論文 参考訳（メタデータ） (2021-09-10T07:01:15Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳（メタデータ） (2021-07-13T12:31:06Z) - Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins [92.7662890047311]
勾配降下は、分類誤差$tilde O(mathsfOPT1/2) + varepsilon$ in $mathrmpoly(d,1/varepsilon)$ time and sample complexity.
論文 参考訳（メタデータ） (2020-10-01T16:48:33Z) - Fused-Lasso Regularized Cholesky Factors of Large Nonstationary
Covariance Matrices of Longitudinal Data [0.0]
大きな共分散行列のコレスキー因子のサブ対角線の滑らかさは、時系列および長手データに対する自己回帰モデルの非定常度の度合いと密接に関連している。
行ごとに分離するColesky因子のスパース推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-22T02:38:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。