論文の概要: Local large deviations for linear-region growth in random piecewise-linear networks
- arxiv url: http://arxiv.org/abs/2607.07014v1
- Date: Wed, 08 Jul 2026 05:14:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.285589
- Title: Local large deviations for linear-region growth in random piecewise-linear networks
- Title（参考訳）: ランダム片方向線形ネットワークにおける線形領域成長のための局所的大規模偏差
- Abstract要約: 本研究では, 深部線形ネットワークにおけるアフィン領域の成長に関するランダムな構成モデルについて検討する。
我々は (n-1log N_n) の両尾に対して指数的な上界を生じる (N_n) に対する減乗圧の存在を証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study a random compositional model for the growth of affine regions in deep piecewise-linear networks. The model is generated by i.i.d.\ perturbations of the symmetric height-one tent map, and the main observable is the number \(N_n\) of affine pieces after \(n\) layers. We prove the existence of a submultiplicative pressure for \(N_n\), yielding exponential upper bounds for both tails of \(n^{-1}\log N_n\). The same argument applies to abstract submultiplicative complexity observables and gives higher-dimensional extensions for convex-polytopal affine-cover counts and worst-line affine-piece counts. Since the true branch count has no matching supermultiplicative inequality, lower bounds require a separate certified construction. We introduce a finite-state defect process that records branches whose future splitting can be guaranteed, and use bridge words to obtain constructive upper-tail lower bounds. In a uniformly favorable small-noise regime, this process is governed by a companion matrix whose Perron root tends to \(2\), implying eventual exclusion of lower tails below \(\log 2-ξ\).
- Abstract（参考訳）: 本研究では, 深部線形ネットワークにおけるアフィン領域の成長に関するランダムな構成モデルについて検討する。
このモデルは対称高さ1のテントマップの摂動によって生成され、主可観測性は \(n\) 層に続くアフィンの数の \(N_n\) である。
我々は、(n^{-1}\log N_n\) の両尾に対して指数的な上界を与える、(N_n\) に対する部分乗法的圧力の存在を証明した。
同じ主張は抽象的部分乗法的複雑性観測値に適用され、凸多面体アフィン被覆数と最悪のラインアフィンピース数に対する高次元拡張を与える。
真の分岐数には一致する超乗法的不等式がないため、下限は別個の証明された構成を必要とする。
将来分割が保証される分岐を記録する有限状態欠陥プロセスを導入し、橋渡し語を用いて構築的な上尾下界を求める。
均一に有利な小さなノイズ状態において、この過程はペロン根が \(2\) になるような共役行列によって制御され、結果として、(\log 2-\) 以下の下尾を除外することを意味する。
関連論文リスト
- Across the Loss Landscape with Progressive Growth [51.366966420881646]
成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。
制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。
プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
論文 参考訳（メタデータ） (2026-08-25T13:50:48Z) - Neural network realization of binary refinement iterates via a two-chart atlas selector [0.0]
コンパクトに支持された全ての連続分級線形種は、固定幅と深さの正確なReLU実現を線形に認める有限の精製繰り返しを持つことを示す。
この構成はまた、自然の終点整合条件を満たす全ての連続片方向線型円関数の正確な読み出しを与える。
論文 参考訳（メタデータ） (2026-07-21T14:11:16Z) - Exact Loop Controllers for ReLU Realization of Homogeneous Curve Refinements [0.0]
等質精製作用素 ((V)(t)=sum_jinmathbb ZA_j(Mt-j)) について検討し、コンパクトに支持された連続ピースワイド線型曲線 (:mathbb Rtomathbb Rp) 上で作用する(Mge2) と有限個の行列 (A_jinmathbb Rptimes p) のみがゼロである。
繰り返し(Vn)が正確なReを認めることを証明します。
論文 参考訳（メタデータ） (2026-05-03T00:44:46Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias [55.72269695392027]
本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。
収束解析の主な課題は、領域の非有界性に起因する。
制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
論文 参考訳（メタデータ） (2025-05-05T12:33:18Z) - Emergent multi-loop nested point gap in a non-Hermitian quasiperiodic lattice [2.518621093955008]
幾何級数変調された非エルミート準周期格子モデルを提案する。
このシステムでは、複数のモビリティエッジと高い巻線数を持つ非エルミート点ギャップを誘導できることが示される。
論文 参考訳（メタデータ） (2024-10-06T12:59:14Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。
Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
論文 参考訳（メタデータ） (2023-02-02T18:59:30Z) - A Sharp Blockwise Tensor Perturbation Bound for Orthogonal Iteration [23.308822706415867]
高次直交反復(HOOI)に対するブロックワイドテンソル摂動境界を確立する。
モード-$k$特異部分空間推定の上限は、摂動と信号強度のブロックワイズ誤差を特徴とする量に一側収束することを示す。
一つの反復しか持たない一段階 HOOI がテンソル再構成の点でも最適であり,計算コストの低減に有効であることを示す。
論文 参考訳（メタデータ） (2020-08-06T03:01:28Z) - Kolmogorov Width Decay and Poor Approximators in Machine Learning:
Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels [8.160343645537106]
与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。
再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
論文 参考訳（メタデータ） (2020-05-21T17:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。