論文の概要: Depth Enables Local Entropy: Quadratic Depth Dependence in Deep Variation-Norm ReLU Regression
- arxiv url: http://arxiv.org/abs/2608.17434v1
- Date: Tue, 18 Aug 2026 07:03:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.238442
- Title: Depth Enables Local Entropy: Quadratic Depth Dependence in Deep Variation-Norm ReLU Regression
- Title（参考訳）: 深度は局所エントロピーを可能にする:深部変量ノルムReLU回帰における2次深さ依存性
- Authors: Tao Jiang, Minbo Gao, Shaowei Cai,
- Abstract要約: 本稿では, 深さL, 幅w, 層積変動予算A, 出力バウンダリBを有する明示的ベクトル値を持つParhi-Nowak Deep-RBV2アーキテクチャに対するガウス回帰について検討する。
本研究では, 試料径依存性半径条件下での二次深度依存性が本質的であることを示す局所パッキングを構築した。
- 参考スコア（独自算出の注目度）: 7.764443932311498
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study Gaussian regression over the explicit vector-valued Parhi--Nowak deep-RBV^2 architecture with depth L, width w, layer-sum variation budget A, and output bound B. For this O(L w^2)-parameterized architecture, the known lower and upper bounds differ by one factor of depth. We construct a local packing showing that the quadratic depth dependence is intrinsic under an explicit sample-size-dependent radius condition. The packing has log-cardinality Omega(L^2 w^2 log w); its codewords lie in an O(lambda) L^2 ball and are pairwise Omega(lambda)-separated. The main ingredients are a bias-corrected bounded-coefficient approximation theorem and balanced amplification: multiplying a depth-D ReLU network by q can be implemented using one constant channel so that every coefficient grows by only q^(1/D). Translation to vector-valued RBV^2 blocks then has layer-sum cost O(D w^2 q^(1/D)). Gaussian Fano yields a radius-explicit lower bound governed by the output, testing, and representation scales. Under A=B=R, sigma proportional to R, and the stated radius condition, this gives minimax risk at least of order L^2 w^2 log(w) R^2/n. A pseudodimension-based finite-net upper bound gives O-tilde(L^2 w^2 R^2/n) for unbounded Gaussian responses. Thus the minimax risk has quadratic polynomial dependence on depth, up to logarithmic factors, and exhibits a transition to representation-limited behavior at smaller radius.
- Abstract（参考訳）: このO(L w^2)-パラメータ化アーキテクチャでは、既知の下限と上限は、深さの1つの因子によって異なる。
本研究では, 試料径依存性半径条件下での二次深度依存性が本質的であることを示す局所パッキングを構築した。
このパッキングにはOmega(L^2 w^2 log w)があり、そのコードワードはO(lambda) L^2ボールの中にあり、ペアでOmega(lambda)-分離される。
主成分はバイアス補正された有界係数近似定理と平衡増幅である: 深さ-D の ReLU ネットワークを q で乗算することは、すべての係数が q^(1/D) だけ増加するように1つの定数チャネルで実装できる。
ベクトル値 RBV^2 ブロックへの変換は、層積コスト O(D w^2 q^(1/D)) を持つ。
ガウス・ファノは出力、テスト、表現スケールによって支配される半径比下界を得る。
A=B=R では、シグマは R に比例し、半径条件では、少なくとも位数 L^2 w^2 log(w) R^2/n の最小リスクを与える。
擬次元に基づく有限ネット上界は、非有界ガウス反応に対して O-チルデ(L^2 w^2 R^2/n) を与える。
したがって、ミニマックスリスクは、対数係数まで深さに2次多項式依存を持ち、より小さな半径での表現制限挙動への遷移を示す。
関連論文リスト
- Sharp Root Anti-Concentration via Projective Incidence and Ordered Root Laws [12.204228610806181]
最低ケース間隔ヒッティング定数は, 区間平均射影入射速度のA$倍であることを示す。
また、トランジッション・トゥ・レグレット・チェーンを完成させる2つのグラフ学習アプリケーションも提供します。
論文 参考訳（メタデータ） (2026-08-03T04:04:56Z) - Feature Learning in Wide Neural Networks under $μ$P: Identifiability and Sparse-Dictionary Decomposition of the Mean-Field Limit [0.0]
雑音勾配降下の平均場限界のグローバルな存在と一意性を$P以下で証明する。
平均フィールド限界の識別可能性の特徴付けを行う。
特徴・学習・エラーの総分解を統計的・最適化・カオス伝播・疎残成分に導出する。
論文 参考訳（メタデータ） (2026-05-23T19:26:25Z) - Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
Scoreベースの生成モデルは高次元空間で訓練されていることを示す。
有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
論文 参考訳（メタデータ） (2026-05-15T10:20:05Z) - Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳（メタデータ） (2026-04-09T16:38:14Z) - Conservation Law Breaking at the Edge of Stability: A Spectral Theory of Non-Convex Neural Network Optimization [0.0]
非次元ネットワーク最適化において、勾配勾配勾配が確実に良い解となることを示す。
幅依存性の動的遷移によって分離された2つの規則を同定する。
全ての予測は23の実験で検証される。
論文 参考訳（メタデータ） (2026-04-08T10:41:24Z) - ResNets of All Shapes and Sizes: Convergence of Training Dynamics in the Large-scale Limit [11.482815450838887]
我々は、残留ニューラルネットワーク(ResNets)のトレーニング力学を、その合同無限深さL、隠れ幅M、埋め込み次元D限界に収束させる。
この研究は、[Chi25]で開始されたプログラムを完了し、固定埋め込み次元Dに対して、トレーニングダイナミクスが平均ODEモデルに収束することを証明した。
論文 参考訳（メタデータ） (2026-03-18T18:07:02Z) - Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence [50.719298242863744]
Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。
離散化LDDにおける最初の次元自由なKL分散境界を証明した。
論文 参考訳（メタデータ） (2026-03-02T22:14:38Z) - An Information-Minimal Geometry for Qubit-Efficient Optimization [0.0]
量子ビット効率の最適化を幾何学的問題として再検討する。
局所一貫性問題は、Sherali-Adams level-2 polytope $mathrmSA(2)$とちょうど一致する。
論文 参考訳（メタデータ） (2025-11-11T15:38:57Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。
本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。
提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文 参考訳（メタデータ） (2023-11-20T17:44:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。