論文の概要: Nearly Tight Rademacher Bounds for Sparsely Activated Neural Networks
- arxiv url: http://arxiv.org/abs/2609.09130v1
- Date: Tue, 08 Sep 2026 17:53:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.710496
- Title: Nearly Tight Rademacher Bounds for Sparsely Activated Neural Networks
- Title（参考訳）: わずかに活性化されたニューラルネットワークのための近距離ラデマチャー境界
- Abstract要約: 入力は、異なる入力がネットワーク全体を使用する場合であっても、ほとんど隠れたユニットを起動する。
本研究では,この入力依存空間の統計的複雑さを1層ReLUモデルで検討する。
- 参考スコア（独自算出の注目度）: 38.61040361525374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An input may activate few hidden units even when different inputs collectively use an entire network. We study the statistical complexity of this input-dependent sparsity in the one-hidden-layer ReLU model of Awasthi et al. (COLT 2024). For width $s$, at most $k$ active units per input, and effective weight and bias bounds $W,B$, every size-$m$ sample in the class's fixed radius-$R$ input domain satisfies $\mathcal{R}(S)\le CWR\min\{k,\sqrt{sk/m}\log^{3/2}(2m)\}+kB/\sqrt m$. A support-preserving cover and a single normalized chaining argument remove the previous explicit dimension factor, up to logarithms. Lower bounds on appropriate i.i.d. marginals match up to those logarithms, showing how changing active units across inputs retains a width dependence. The input domain matters: zero-bias networks sparse on the entire ball have at most $2k$ nonzero units and complexity $O(kWR/\sqrt m)$, whereas bias bounds comparable to $WR$ restore the worst-case rate on that same domain in only logarithmic dimension. A spherical-cap construction proves the latter claim without assuming sparsity merely on the sampling support. For a specified normalized bounded loss and biases comparable to $WR$, we also obtain agnostic minimax excess-risk bounds of order $\min\{1,\sqrt{s/(km)}\}$ up to logarithms.
- Abstract（参考訳）: 入力は、異なる入力がネットワーク全体を使用する場合であっても、ほとんど隠れたユニットを起動する。
Awasthi et al (COLT 2024) の1層ReLUモデルにおいて, この入力依存空間の統計的複雑さについて検討した。
幅$s$は、入力あたりの最大$k$アクティブユニット、有効重量とバイアスは$W,B$、クラスの固定半径におけるすべてのサイズ-$m$サンプル-$R$入力ドメインは$\mathcal{R}(S)\le CWR\min\{k,\sqrt{sk/m}\log^{3/2}(2m)\}+kB/\sqrt m$を満たす。
サポート保存カバーと1つの正規化連鎖引数は、対数まで、以前の明示的な次元係数を除去する。
適切な i.d. 境界の下位境界はこれらの対数と一致し、入力間での活性単位の変化が幅依存性を保持することを示す。
ボール全体のゼロバイアスネットワークは少なくとも2k$非ゼロ単位を持ち、複雑さは$O(kWR/\sqrt m)$である。
球状キャップ構造は、サンプリング支援のみに間隔を仮定することなく後者の主張を証明する。
WR$に匹敵する特定の正規化された有界損失とバイアスに対して、位数$\min\{1,\sqrt{s/(km)}\} の無知のミニマックス超リスク境界も得られる。
関連論文リスト
- Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。
すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。
指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
論文 参考訳（メタデータ） (2026-08-27T01:31:46Z) - Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One [9.00733527455972]
最小ブロック幅が$maxd_x,d_y$であることを示す。
任意の活性化関数族に対して、ブロック幅が$maxd_x, d_y$未満の残差ニューラルネットワークでは近似できない関数が存在することを示す。
論文 参考訳（メタデータ） (2026-07-06T01:58:37Z) - Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳（メタデータ） (2026-03-19T15:53:41Z) - High-accuracy sampling for diffusion models and log-concave distributions [70.90863485771405]
本稿では,$mathrmpolylog (1/)$のステップで$$-errorを求める拡散モデルサンプリングアルゴリズムを提案する。
我々の手法は、一般的なログ凹凸分布に対する最初の$mathrmpolylog (1/)$ complexity samplerをもたらす。
論文 参考訳（メタデータ） (2026-02-01T17:05:31Z) - On the Intrinsic Dimensions of Data in Kernel Learning [1.675218291152252]
ラプラスカーネルのようなカーネルの場合、実効次元$d_K$はミンコフスキー次元$d_$よりもかなり小さく、正則領域で証明可能であることを示す。
以上の結果から,Laplaceカーネルのようなカーネルの場合,実効次元$d_K$は,通常のドメインに有するMinkowski次元$d_$よりも著しく小さいことが分かる。
論文 参考訳（メタデータ） (2026-01-22T17:32:24Z) - On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks [2.4112990554464235]
我々は、$mathcalO((WL)-2s/d)$が実際にソボレフ埋め込み条件の下で成り立つことを示す。
我々の証明の鍵となるツールは、幅と深さの異なる深部ReLUニューラルネットワークを用いてスパースベクトルを符号化することである。
論文 参考訳（メタデータ） (2024-09-02T02:26:01Z) - Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [12.171849953316192]
我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。
例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
論文 参考訳（メタデータ） (2024-08-20T16:43:45Z) - Minimum width for universal approximation using ReLU networks on compact
domain [8.839687029212673]
活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。
ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
論文 参考訳（メタデータ） (2023-09-19T08:04:48Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。
我々はこの$d$への依存が対数的要因まで最適であることを示す。
また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
論文 参考訳（メタデータ） (2021-11-09T00:20:01Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov
Decision Processes [91.38793800392108]
本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。
上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。
我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
論文 参考訳（メタデータ） (2020-12-15T18:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。