論文の概要: Activation Saturation and Floquet Spectrum Collapse in Neural ODEs

• arxiv url: http://arxiv.org/abs/2604.00543v1
• Date: Wed, 01 Apr 2026 06:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.873969
• Title: Activation Saturation and Floquet Spectrum Collapse in Neural ODEs
• Title（参考訳）: ニューラルオードにおける活性化飽和とフロケットスペクトルの崩壊
• Authors: Nikolaos M. Matzakos,
• Abstract要約: これはフロケスペクトルの崩壊であり、飽和度が深くなるにつれて、全ての指数は0に駆動される。 二次的な寄与として、飽和スペクトル分解(saturation- spectrum factorization)は、フローレベルで$T$で指数関数的に改善された$widetildeC(U)le C(U)$をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove that activation saturation imposes a structural dynamical limitation on autonomous Neural ODEs $\dot{h}=f_θ(h)$ with saturating activations ($\tanh$, sigmoid, etc.): if $q$ hidden layers of the MLP $f_θ$ satisfy $|σ'|\leδ$ on a region~$U$, the input Jacobian is attenuated as $\norm{Df_θ(x)}\le C(U)$ (for activations with $\sup_{x}|σ'(x)|\le 1$, e.g.\ $\tanh$ and sigmoid, this reduces to $C_Wδ^q$), forcing every Floquet (Lyapunov) exponen along any $T$-periodic orbit $γ\subset U$ into the interval $[-C(U),\;C(U)]$. This is a collapse of the Floquet spectrum: as saturation deepens ($δ\to 0$), all exponents are driven to zero, limiting both strong contraction and chaotic sensitivity. The obstruction is structural -- it constrains the learned vector field at inference time, independent of training quality. As a secondary contribution, for activations with $σ'>0$, a saturation-weighted spectral factorisation yields a refined bound $\widetilde{C}(U)\le C(U)$ whose improvement is amplified exponentially in~$T$ at the flow level. All results are numerically illustrated on the Stuart--Landau oscillator; the bounds provide a theoretical explanation for the empirically observed failure of $\tanh$-NODEs on the Morris--Lecar neuron model.
• Abstract（参考訳）: アクティベーション飽和は、自律的ニューラル ODEs $\dot{h}=f_θ(h)$に対して、飽和活性化(\tanh$, sigmoidなど)を伴う構造的動的制限を課すことを証明した。 が MLP $f_θ$ の隠れ層 $|σ'|\leδ$ を満たすと、入力ヤコビアンは $\norm{Df_θ(x)}\le C(U)$ ($\sup_{x}|σ'(x)|\le 1$, e g \ $\tanh$ and sigmoid の活性化に対して$C_Wδ^q$ となる。 これはフロケスペクトルの崩壊であり、飽和度が深くなると(δ\to 0$)、全ての指数はゼロに駆動され、強い収縮とカオス感度の両方を制限する。 この障害は構造的であり、学習されたベクトル場を推論時に制約し、トレーニングの品質とは無関係である。 第二の寄与として、$σ'>0$の活性化に対して、飽和重み付きスペクトル分解は、フローレベルで~$T$で指数関数的に改善されるような、洗練された有界な$\widetilde{C}(U)\le C(U)$が得られる。 全ての結果はスチュアート-ランダウ振動子上で数値的に説明され、この境界はモリス-レカールニューロンモデル上で観測された$\tanh$-NODEの失敗の理論的な説明を与える。

関連論文リスト

• The Spectral Edge Thesis: A Mathematical Framework for Intra-Signal Phase Transitions in Neural Network Training [0.0]
  ニューラルネットワークトレーニングにおける位相遷移は,パラメータ更新の回転ウィンドウグラム行列のスペクトルギャップによって制御されることを示す。 adiabatic parameter $mathcalA = |G|_F / (, g2)$ control circuit stability: $mathcalA ll 1$ (plateau), $mathcalA sim 1$ (phase transition), $mathcalA gg 1$ (forgetting)
  論文  参考訳（メタデータ） (2026-03-30T20:10:22Z)
• Rényi exponent landscape of multipartite entanglement in free-fermion systems [51.56484100374058]
  我々は、Rényi tripartite information $I_3() が小フェルミ運動量での質的に $exclusion-dependent scaling を示すことを示した。 I_m(n)/I_m(1) sim zm-1 to 0$ for all integer $n geq 2$, so the leading von Neumann signal can builded from integer Rényi data。
  論文  参考訳（メタデータ） (2026-03-09T22:27:00Z)
• Information-Computation Tradeoffs for Noiseless Linear Regression with Oblivious Contamination [65.37519531362157]
  このタスクに対する効率的な統計的クエリアルゴリズムは、VSTATの複雑さを少なくとも$tildeOmega(d1/2/alpha2)$で要求する。
  論文  参考訳（メタデータ） (2025-10-12T15:42:44Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Interplay between depth and width for interpolation in neural ODEs [0.0]
  それらの幅$p$と層遷移数$L$の相互作用について検討する。 高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-01-18T11:32:50Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Superharmonic double-well systems with zero-energy ground states: Relevance for diffusive relaxation scenarios [0.0]
  直線上のSmoluchowski拡散過程の緩和特性をスペクトル的に定量することができる。 hatH$の特異性は、準特殊解決可能なSchr"odinger型系の族を指すことである。
  論文  参考訳（メタデータ） (2021-04-24T08:11:54Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。