論文の概要: The role of parameter Jacobians in the stability of network outputs
- arxiv url: http://arxiv.org/abs/2608.27748v1
- Date: Thu, 27 Aug 2026 22:21:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.156613
- Title: The role of parameter Jacobians in the stability of network outputs
- Title(参考訳): ネットワーク出力の安定性におけるパラメータジャコビアンの役割
- Authors: Halyun Jeong, Palle E. T. Jorgensen, Hyun-Kyoung Kwon, Myung-Sin Song, James Tian,
- Abstract要約: 対応する線形化力学が自然に半群定式化につながることを示す。
対応する半群摂動のノルム有界性を証明する。
我々は, 片方向凍結近似による非正則NTK進化との比較を拡張した。
- 参考スコア(独自算出の注目度): 2.000834478067184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the framework of network dynamics, learning models, and neural tangent kernels (NTK), we show that the corresponding linearized dynamics leads naturally to a semigroup formulation. More precisely, in our analysis of input/output models, the time-dynamics is presented via special semigroups of linear operators on Hilbert spaces, together with an associated class of semigroup perturbations. In this context, we then present new and explicit a priori perturbation-bound results: for the fixed-kernel linearization constructions arising in the NTK setting, we prove norm-bounds on the corresponding semigroup perturbations, in the form of explicit finite-time perturbation estimates. We further present refinements on prescribed task spaces, Cesàro-averaged (ergodic) comparisons estimates, and versions in which the lower spectral edge assumption is replaced by a spectral-distribution condition. We also extend the comparison to nonautonomous NTK evolutions through piecewise-frozen approximations, record a corresponding discrete Euler specialization, and offer worked examples in order to illustrate our perturbation-bound estimates.
- Abstract(参考訳): ネットワーク力学,学習モデル,ニューラル・タンジェント・カーネル(NTK)の枠組みにおいて,対応する線形化力学が自然に半群定式化につながることを示す。
より正確には、入出力モデルの解析において、時間力学はヒルベルト空間上の線型作用素の特別な半群と関連する半群摂動のクラスを通して表される。
NTK設定で生じる固定カーネル線形化構成に対しては、明示的な有限時間摂動推定の形で、対応する半群摂動のノルムバウンドを証明します。
さらに、所定のタスク空間、Cesàro-averaged (ergodic) 比較の推定値、低スペクトルエッジ仮定をスペクトル分布条件に置き換えたバージョンについて改善する。
我々はまた、片方向凍結近似による非正準NTK進化との比較を拡張し、対応する離散オイラー特殊化を記録するとともに、摂動束縛推定の例を示す。
関連論文リスト
- Shorting Dynamics and Structured Kernel Regularization [0.0]
正作用素の誘導列は単調であり、完全分解を認め、古典的ショート演算子に収束する。
これにより、不変カーネルの構築とデータ解析における構造化正規化に対する演算子解析の統一化が実現される。
論文 参考訳(メタデータ) (2025-12-04T15:02:42Z) - Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。
以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
論文 参考訳(メタデータ) (2025-10-22T19:06:39Z) - Learning convolution operators on compact Abelian groups [35.70694383605516]
コンパクトなアベリア群に関連する畳み込み作用素の学習問題を考察する。
正規化に基づく手法を研究し、自然正規化条件下での学習保証を提供する。
論文 参考訳(メタデータ) (2025-01-09T14:43:08Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳(メタデータ) (2024-09-17T08:09:22Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Feature-aligned N-BEATS with Sinkhorn divergence [8.209488690262882]
ドメイン一般化時系列予測モデルとして特徴整列N-BEATSを提案する。
これは N-BEATS の非自明な拡張であり、二重剰余な積み重ね原理を表現学習フレームワークに組み込む。
論文 参考訳(メタデータ) (2023-05-24T14:32:23Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。