論文の概要: Stability of the scattering transform for deformations with minimal regularity

• arxiv url: http://arxiv.org/abs/2205.11142v1
• Date: Mon, 23 May 2022 09:08:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-05-24 19:15:17.958158
• Title: Stability of the scattering transform for deformations with minimal regularity
• Title（参考訳）: 最小規則性を有する変形に対する散乱変換の安定性
• Authors: Fabio Nicola and S. Ivan Trapasso
• Abstract要約: 散乱構造とH"older regularity scale $Calpha$, $alpha > 0$における変形の規則性との関係について検討する。 安定性閾値を正確に特定することができ、クラス$Calpha$, $alpha>1$の変形に対して安定性がまだ達成可能であることを証明できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Within the mathematical analysis of deep convolutional neural networks, the wavelet scattering transform introduced by St\'ephane Mallat is a unique example of how the ideas of multiscale analysis can be combined with a cascade of modulus nonlinearities to build a nonexpansive, translation invariant signal representation with provable geometric stability properties, namely Lipschitz continuity to the action of small $C^2$ diffeomorphisms - a remarkable result for both theoretical and practical purposes, inherently depending on the choice of the filters and their arrangement into a hierarchical architecture. In this note, we further investigate the intimate relationship between the scattering structure and the regularity of the deformation in the H\"older regularity scale $C^\alpha$, $\alpha >0$. We are able to precisely identify the stability threshold, proving that stability is still achievable for deformations of class $C^{\alpha}$, $\alpha>1$, whereas instability phenomena can occur at lower regularity levels modelled by $C^\alpha$, $0\le \alpha <1$. While the behaviour at the threshold given by Lipschitz (or even $C^1$) regularity remains beyond reach, we are able to prove a stability bound in that case, up to $\varepsilon$ losses.
• Abstract（参考訳）: Within the mathematical analysis of deep convolutional neural networks, the wavelet scattering transform introduced by St\'ephane Mallat is a unique example of how the ideas of multiscale analysis can be combined with a cascade of modulus nonlinearities to build a nonexpansive, translation invariant signal representation with provable geometric stability properties, namely Lipschitz continuity to the action of small $C^2$ diffeomorphisms - a remarkable result for both theoretical and practical purposes, inherently depending on the choice of the filters and their arrangement into a hierarchical architecture. 本稿では, 散乱構造とH\'older regularity scale $C^\alpha$, $\alpha > 0$における変形の規則性との関係について検討する。 C^{\alpha}=, $\alpha>1$の変形に対して、安定性が依然として達成可能であることを証明し、安定性の閾値を正確に同定することができるが、不安定な現象は、$C^\alpha$, $0\le \alpha <1$によってモデル化された低い正則度レベルで発生する。 lipschitz氏(あるいは$c^1$)の正規性によって与えられるしきい値での動作は限界を超えているが、その場合の安定性を証明でき、最大$\varepsilon$の損失を証明できる。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
  有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。 すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
  論文  参考訳（メタデータ） (2026-01-31T02:57:01Z)
• Anisotropic uncertainty principles for metaplectic operators [0.0]
  我々は、$L(mathbbRd)$ に作用する一般メタプレクティック作用素に対して異方的不確実性原理を確立する。 不確かさ現象は本質的に指向性を示し、$mathrmrank(B)$で与えられる有効位相空間次元に制限される。
  論文  参考訳（メタデータ） (2026-01-22T19:22:27Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Geometric Stability: The Missing Axis of Representations [0.0]
  我々は$geometric$ $stabilityを導入し、摂動下での表現幾何学の信頼性を定量化する。 7つの領域における2,463以上の構成から、安定性と類似性は実証的に非相関性を示す。 安全監視のため、安定性は機能的な幾何学的カナリアとして機能し、CKAよりも2ドル近い速度で構造的なドリフトを検出する。 モデル選択においては、安定性は転送可能性から解離し、転送最適化が生じる幾何学的税制を明らかにする。
  論文  参考訳（メタデータ） (2026-01-14T05:15:22Z)
• Spectral Thresholds for Identifiability and Stability:Finite-Sample Phase Transitions in High-Dimensional Learning [0.0]
  高次元学習では、サンプルサイズが臨界レベル以下になると、モデルは突然崩壊するまで安定している。 私たちのFisher Threshold Theoremは、最小のFisher固有値が明示的な$O(sqrtd/n)$boundを超えることを証明してこれを公式化する。 事前またはモデル固有の基準とは異なり、この閾値は有限サンプルであり、信頼性の高い濃度と避けられない失敗の間の急激な位相遷移を示す。
  論文  参考訳（メタデータ） (2025-10-04T13:33:48Z)
• Stability Analysis of Physics-Informed Neural Networks via Variational Coercivity, Perturbation Bounds, and Concentration Estimates [0.0]
  PINNは、サンプルコロケーション点上の残差に基づく損失を最小限に抑え、偏微分方程式(PDE)の近似解を導出する。 ネットワーク出力における有界摂動が、残留成分と教師付き損失成分の両方を通してどのように伝播するかを定量化する決定論的安定性境界を導出する。 この研究は、PINNに数学的に基礎を置き、実際に適用可能な安定性の枠組みを提供し、ロバストトレーニングにおける演算子構造、サンプリング設計、機能正則性の役割を明確にする。
  論文  参考訳（メタデータ） (2025-06-16T14:41:15Z)
• Robustly Invertible Nonlinear Dynamics and the BiLipREN: Contracting Neural Models with Contracting Inverses [2.0277446818410994]
  本研究では, 非線形力学系の可逆性について, 収縮解析と漸進安定性解析の観点から検討する。 本稿では,新しい可逆的リカレントニューラルモデルBiLipRENを提案する。
  論文  参考訳（メタデータ） (2025-05-05T23:27:52Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
  勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。 我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。 これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-06-04T14:54:05Z)
• Single Trajectory Nonparametric Learning of Nonlinear Dynamics [8.438421942654292]
  力学系の1つの軌道が与えられた場合、非パラメトリック最小二乗推定器(LSE)の性能を解析する。 我々は最近開発された情報理論手法を活用し、非仮説クラスに対するLSEの最適性を確立する。 我々は、リプシッツ力学、一般化線形モデル、再生ケルネルヒルベルト空間(RKHS)のある種のクラスで記述される関数によって記述される力学など、実用上の関心のあるいくつかのシナリオを専門とする。
  論文  参考訳（メタデータ） (2022-02-16T19:38:54Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• On the stability of deep convolutional neural networks under irregular or random deformations [0.0]
  深い畳み込みニューラルネットワーク(DCNN)のための位置変形下の堅牢性は、大きな理論的および実用的な関心事です。 ここでは、追加の正規性仮定なしに、$tauin Linfty(mathbbRd;mathbbRd)$のフィールドでこの問題に取り組みます。 マルチレゾリューション近似空間の信号に対して、u_s$ at scale $s$, stability in $|tau|_linfty/sll 1$ in the regime $|tau|_
  論文  参考訳（メタデータ） (2021-04-24T16:16:30Z)
• Quantum Phase Transition of Many Interacting Spins Coupled to a Bosonic Bath: static and dynamical properties [0.0]
  オオミック系では、ベレンツィンスキー-Thouless-Kosterlitz量子相転移が起こる。 観測された量子相転移に対しては、固体中の金属絶縁体転移と類似した基準を確立する。
  論文  参考訳（メタデータ） (2021-03-30T10:07:11Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Learning Dynamics Models with Stable Invariant Sets [17.63040340961143]
  本稿では,動的モデルが一般クラスの安定不変集合を持つことを保証する手法を提案する。 我々は容易に投影を計算し、同時に様々な可逆ニューラルネットワークを用いてモデルの柔軟性を維持することができる。
  論文  参考訳（メタデータ） (2020-06-16T05:32:38Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。