論文の概要: Sharp Stability Threshold and Certification for Designing Stable Residual Architectures

• arxiv url: http://arxiv.org/abs/2607.14576v1
• Date: Thu, 16 Jul 2026 05:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:32.996057
• Title: Sharp Stability Threshold and Certification for Designing Stable Residual Architectures
• Title（参考訳）: 安定な残留アーキテクチャ設計のためのシャープ安定性閾値と認証
• Abstract要約: 残差ブロックの速度場毎の入力-マグニチュード指数に対する鋭い安定性しきい値を提案する。 しきい値$q = 1$は、2つの独立した引数によって確立される。 残差ブロックを構築する5つの操作の下での入力-マグニチュード指数の算術は、アーキテクチャプリミティブのレベルで$q_k le 1$の効率的な認証を可能にする。
• 参考スコア（独自算出の注目度）: 4.781989580907985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose \emph{the sublinear-growth principle} for deep residual architectures -- a sharp stability threshold on the input-magnitude exponent of every residual block's velocity field: $$\|v(x, t)\| \leq c\,\|x\|^q + b, \qquad q \in [0, 1].$$ The threshold $q = 1$ is established via two independent arguments. Classical ODE theory gives a global forward flow on $[0, T]$ at $q \le 1$ and exhibits divergent velocity fields at any $q > 1$. The optimal-control analysis, via the Hamilton-Jacobi-Bellman equation, sharpens this to a selection statement: the training optimum is bang-bang on the boundary of the admissible class, so the optimum at $q > 1$ blows up while the optimum at $q \le 1$ is safe by construction. The exponent criterion $q \le 1$ is thereby a necessary and sufficient condition for stable training. It clarifies architectural placements that ensure the stability of training and inference, explaining, for instance, the stabilizing role of layer normalization. The sublinear-growth velocity fields form \emph{the right function space} on which forward dynamics, adjoint sensitivity, and architectural composition are all well-controlled. An arithmetic of input-magnitude exponents under the five operations that build residual blocks enables efficient certification of $q_k \le 1$ at the level of architectural primitives, in place of ad hoc trial and error in the search for stable neural architectural designs. A parameter-free modification reduces the supercritical Mamba block from $q = 5$ to $q = 1$ without layer normalization, demonstrating this point. Experiments on Mamba and PatchTST confirm that the $q \le 1$ variants train stably: the criterion is the input-magnitude exponent, not the presence of a normalization layer.
• Abstract（参考訳）: ディープ・残差アーキテクチャーに対する 'emph{the sublinear-growth principle} -- 残差ブロックの速度場の入力-マグニチュード指数の鋭い安定しきい値: $$\|v(x, t)\| \leq c\,\|x\|^q + b, \qquad q \in [0, 1]。 $$ しきい値$q = 1$は、2つの独立した引数によって確立される。 古典的ODE理論は、$[0, T]$ at $q \le 1$で大域的な前流を与え、任意の$q > 1$で発散速度場を示す。 ハミルトン・ヤコビ・ベルマン方程式(英語版)による最適制御解析(英語版)は、これを選択ステートメント(英語版)に研ぎつける: トレーニング最適は許容クラスの境界でバンバンであるので、最適は$q > 1$ で、最適は$q \le 1$ で、建設によって安全である。 したがって、指数式$q \le 1$は安定した訓練に必要な条件である。 トレーニングと推論の安定性を保証するアーキテクチャ配置を明確にし、例えば、レイヤの正規化の安定化の役割を説明する。 線型成長速度場は、フォワードダイナミクス、随伴感度、およびアーキテクチャ構成が全てよく制御された 'emph{the right function space} を形成する。 残差ブロックを構築する5つの操作の下での入力-マグニチュード指数の算術は、安定なニューラルネットワークアーキテクチャ設計の探索において、アドホックな試行とエラーの代わりに、アーキテクチャプリミティブのレベルで$q_k \le 1$の効率的な認証を可能にする。 パラメータフリーな修正は、超臨界マンバブロックを層正規化なしで$q = 5$から$q = 1$に減らし、この点を示す。 Mamba と PatchTST の実験では、$q \le 1$ variants が安定して動作していることが確認されている。

関連論文リスト

• Asymptotically Optimal Regret for Reinforcement Learning without Horizon Dependence [54.59847568544922]
  有限水平時間同質なマルコフ決定過程に対して、$A$状態、$A$アクション、hoighty $H$、および1ドルで有界なトラジェクティブ当たりの合計報酬について、地平自由な後悔について検討する。 失敗確率$$K$はエピソード数で$tilde O(sqrtSAK+S3K)$ hides $mathsfpolyである。
  論文  参考訳（メタデータ） (2026-07-22T07:42:19Z)
• Rate-Distortion Function for Encrypted Traffic Side-Channel Defense [23.361601797200475]
  最適防御はKKT条件によって制御される指数型タイル構造を有することを示す。 現実世界のWebサイト・フィンガープリントのディフェンスでは、このフレームワークはFront ($_mathrmgap=0.028$,bits), WTF-PAD$0.034$,bits, TrafficSliver$0.124$,bits)を理論曲線の上に配置する。
  論文  参考訳（メタデータ） (2026-07-20T12:38:49Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• Architecture Shape Governs QNN Trainability: Jacobian Null Space Growth and Parameter Efficiency [3.1094222618006664]
  トレーニング容易性はアーキテクチャ形状が$(N,L)$で,固定$E$で大きく変化することを示す。 ヤコビアン$J$と一致する係数の構造的階数不足をその原因となるメカニズムとして同定する。
  論文  参考訳（メタデータ） (2026-05-07T09:52:45Z)
• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Complexity of Classical Acceleration for $\ell_1$-Regularized PageRank [14.919427330415608]
  FISTAは1/$ローカリティスケーリングを保ちながら$$への依存を改善することができることを示す。 我々はFISTAをわずかに過正規化された目的に基づいて解析し、チェック可能な閉じ込め条件下では、全ての刺激活性化が境界集合内に存在することを示す。 これにより、加速された$(sqrt)-1log(/varepsilon)$項と境界オーバーヘッド$sqrtvol(mathcalB)/(3/2)$からなるバウンダリが得られる。
  論文  参考訳（メタデータ） (2026-02-24T17:35:46Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Horizon-Free and Variance-Dependent Reinforcement Learning for Latent Markov Decision Processes [62.90204655228324]
  我々は,後期マルコフ決定過程(LMDP)における強化学習(RL)の文脈を考慮した後悔の最小化について検討した。 我々は,モデル最適化と値最適化の両手法でインスタンス化できる,新しいモデルベースアルゴリズムフレームワークを設計する。
  論文  参考訳（メタデータ） (2022-10-20T21:32:01Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。