論文の概要: Polynomial Learning of Positive ReLU Networks under Gaussian Inputs
- arxiv url: http://arxiv.org/abs/2610.25116v2
- Date: Tue, 20 Oct 2026 09:14:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.287235
- Title: Polynomial Learning of Positive ReLU Networks under Gaussian Inputs
- Title（参考訳）: ガウス入力による正のReLUネットワークの多項式学習
- Abstract要約: 標準ガウス入力の下で, 正, 無バイアス, 単層ReLUネットワークについて検討する。
隠れた方向の仮定を分離したり条件付けしたりすることなく、サンプル誤差と実数演算の複雑さを持つアルゴリズムを得る。
- 参考スコア（独自算出の注目度）: 7.390615334369365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study positive, bias-free, one-hidden-layer ReLU networks under standard Gaussian inputs. We obtain algorithms with polynomial sample and real-arithmetic complexity, without separation or conditioning assumptions on the hidden directions. When the conditional label mean is a width-$k$ network with total output weight at most one, the learner achieves squared prediction error $\varepsilon$ with output width at most $k+\min\{k,d\}$ and complexity linear in one plus the residual second moment. For arbitrary labels with bounded second moment, we obtain a positive ReLU network of width $O(k\log(2/\varepsilon))$. Its risk is bounded by the irreducible noise variance plus $Ck^3\log^{9/2}(2k/\varepsilon)$ times the squared distance of the conditional mean to the target class, plus $\varepsilon$. The proofs combine implicit Hermite moments, orthogonal tensor-train compression, and a direction decoder whose probability of returning a direction far from every atom is bounded linearly in the compression and estimation errors. Exact Gaussian localization refines the resulting direction covers. In the agnostic setting, a cone-constrained convex program with a scale-dependent penalty produces a positive network; in the conditional-mean setting, exact sparsification yields the smaller width. We also establish projective direction recovery and confidence amplification with sample complexity proportional to the logarithm of the reciprocal failure probability.
- Abstract（参考訳）: 標準ガウス入力の下で, 正, 無バイアス, 単層ReLUネットワークについて検討する。
隠れた方向の仮定を分離したり条件付けしたりすることなく、多項式サンプルと実数演算複雑性を持つアルゴリズムを得る。
条件付きラベル平均が、最大出力重量が最大1の幅$k$ネットワークである場合、学習者は、最大出力幅が$k+\min\{k,d\}$の2乗予測誤差$\varepsilon$を達成する。
有界な第二モーメントを持つ任意のラベルに対して、幅$O(k\log(2/\varepsilon))$の正のReLUネットワークを得る。
そのリスクは、既約ノイズ分散と$Ck^3\log^{9/2}(2k/\varepsilon)$条件平均のターゲットクラスへの平方距離と$\varepsilon$によって制限される。
これらの証明は、暗黙のエルミートモーメント、直交テンソルトレイン圧縮、および全ての原子から離れた方向を返す確率が、圧縮と推定誤差において線形に境界づけられた方向デコーダを組み合わせている。
厳密なガウスの局所化は、結果として生じる方向被覆を洗練させる。
アグノスティックセッティングでは、スケール依存のペナルティを持つコーン拘束凸プログラムが正のネットワークを生成し、条件付き平均セッティングでは、正確なスペーシングにより、より小さな幅が得られる。
また, 相互故障確率の対数に比例して, 予測方向の回復と信頼性の増幅を行う。
関連論文リスト
- Counterfactual Probing for Parallel Unmasking with Hidden Forest Structure [50.58119214447535]
マスク付き生成モデルは並列トークン予測を提供するが、正確な並列サンプリングはトークンを考慮しなければならない。
本研究は,発見を含む全評価がシーケンス長$N$のサブ線形であるかどうかを考察する。
本研究では, 森林構造を隠蔽した離散分布を, 固定された近似条件オラクルを通してアクセスする。
論文 参考訳（メタデータ） (2026-09-29T15:39:50Z) - Improved Private Sparse Covariance Estimation with Multiscale Threshold Tests [19.221722169368494]
サンプル複雑性$ot(k2/2+ksqrt d/(varepsilon)$ for $(varepsilon,)$-differential privacy and error at most $2$。
境界は、既存の$ot(k2/2+k3/2sqrt d/(varepsilon))$ citepkumar2026上界のプライバシー依存項を$sqrt k$で改善し、一致させる。
論文 参考訳（メタデータ） (2026-09-19T05:31:47Z) - Product-Aware Deterministic Rounding for Quantized Matrix Multiplication [0.14680035572775532]
積-OPTawareラウンドリングのスケール,クリッピングバウンド,グリッドについて検討し,各アクティブスカラーを隣り合うレベルから選択した。
動的アクティベーション・ラウンドリングでは、ヌル空間還元は緩和された積を保ちながら、少なくとも$r$の分数決定を残している。
再利用可能な静的重みについては、正確な積剰余測度は、固定出力バイアスの未集中入力第2モーメントである。
論文 参考訳（メタデータ） (2026-09-11T17:52:57Z) - Random Parameter Noise Does Not Make Exact ReLU Verification Easy [14.270378035741404]
逆スムースドモデルにおけるReLUネットワークの正確な検証について検討する。
標準的な仮定である$mathrmNPnotsubseteqmathrmBPP$ では,ネットワークサイズ,ビット複雑性,各ベースインスタンスの逆ノイズレベルにランニングタイムを埋め込むような,健全かつ完全検証器が存在しないことを示す。
論文 参考訳（メタデータ） (2026-07-15T21:26:20Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Robust learning of halfspaces under log-concave marginals [6.852292115526837]
線形しきい値関数を学習し、境界体積$O(r+varepsilon)$の分類子を半径摂動$r$で返すアルゴリズムを与える。
dtildeO(1/varepsilon2)$の時間とサンプルの複雑さはブール回帰の複雑さと一致する。
論文 参考訳（メタデータ） (2025-05-19T20:12:16Z) - Random quantum circuits transform local noise into global white noise [118.18170052022323]
低忠実度状態におけるノイズランダム量子回路の測定結果の分布について検討する。
十分に弱くユニタリな局所雑音に対して、一般的なノイズ回路インスタンスの出力分布$p_textnoisy$間の相関(線形クロスエントロピーベンチマークで測定)は指数関数的に減少する。
ノイズが不整合であれば、出力分布は、正確に同じ速度で均一分布の$p_textunif$に近づく。
論文 参考訳（メタデータ） (2021-11-29T19:26:28Z) - Consistent Estimation for PCA and Sparse Regression with Oblivious
Outliers [13.244654316770815]
我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。
スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。
PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
論文 参考訳（メタデータ） (2021-11-04T15:59:44Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。