論文の概要: A Function-Space Stability Boundary for Generalization in Interpolating Learning Systems
- arxiv url: http://arxiv.org/abs/2602.03514v1
- Date: Tue, 03 Feb 2026 13:31:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.468528
- Title: A Function-Space Stability Boundary for Generalization in Interpolating Learning Systems
- Title(参考訳): 補間学習システムにおける一般化のための関数空間安定性境界
- Authors: Ronald Katende,
- Abstract要約: 我々は,関数空間軌道としてのトレーニングをモデル化し,この軌道に沿った単一サンプル摂動に対する感度を測定する。
小さい証明は安定性に基づく一般化を暗示するが、小さなリスクを持つ補間体制が存在することも証明する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern learning systems often interpolate training data while still generalizing well, yet it remains unclear when algorithmic stability explains this behavior. We model training as a function-space trajectory and measure sensitivity to single-sample perturbations along this trajectory. We propose a contractive propagation condition and a stability certificate obtained by unrolling the resulting recursion. A small certificate implies stability-based generalization, while we also prove that there exist interpolating regimes with small risk where such contractive sensitivity cannot hold, showing that stability is not a universal explanation. Experiments confirm that certificate growth predicts generalization differences across optimizers, step sizes, and dataset perturbations. The framework therefore identifies regimes where stability explains generalization and where alternative mechanisms must account for success.
- Abstract(参考訳): 現代の学習システムは、トレーニングデータをよく一般化しながら補間することが多いが、アルゴリズムの安定性がこの振る舞いを説明するのがいつなのかは定かではない。
我々は,関数空間軌道としてのトレーニングをモデル化し,この軌道に沿った単一サンプル摂動に対する感度を測定する。
得られた再帰を解き放つことで得られる契約的伝播条件と安定性証明書を提案する。
小さな証明は安定性に基づく一般化を暗示するが、そのような収縮感度が保たない小さなリスクを持つ補間体制が存在することも証明し、安定性は普遍的な説明ではないことを示す。
実験により、証明書の成長はオプティマイザ、ステップサイズ、データセットの摂動にまたがる一般化の違いを予測する。
したがって、このフレームワークは、安定性が一般化を説明できる体制と、代替メカニズムが成功に寄与しなければならない制度を識別する。
関連論文リスト
- Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。
複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
論文 参考訳(メタデータ) (2026-01-30T15:28:42Z) - Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs [5.96875296117642]
安定なパラメータトラジェクトリが定常解を導出し、経験的分布へのKLの分岐を最小化することを示す。
制御されたフィードバックベースのトレーニングフレームワークを用いて,この効果を実証的に検証する。
これは、最適化の安定性と生成的表現性は本質的に一致していないことを示し、安定性のみが生成的品質の指標として不十分であることを示している。
論文 参考訳(メタデータ) (2026-01-26T15:34:50Z) - Why Smooth Stability Assumptions Fail for ReLU Learning [0.0]
均一なスムーズ性に基づく安定プロキシがReLUネットワークに対してグローバルに保持できないことを示す。
古典的安定性境界の失敗を示す具体的な反例を示す。
論文 参考訳(メタデータ) (2025-12-26T15:17:25Z) - State Entropy Regularization for Robust Reinforcement Learning [49.08983925413188]
状態エントロピー規則化は、構造的および空間的に相関した摂動に対するロバスト性を向上させることを示す。
このようなバリエーションは、伝達学習では一般的であるが、標準的な堅牢な強化学習法では見落とされがちである。
論文 参考訳(メタデータ) (2025-06-08T11:15:31Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳(メタデータ) (2022-06-08T21:32:50Z) - Continual evaluation for lifelong learning: Identifying the stability
gap [35.99653845083381]
我々は、新しいタスクの学習を始める際に、一般的な最先端の手法のセットを忘れることに苦しむことを示す。
興味深いが潜在的に問題となる現象を安定性ギャップと呼ぶ。
我々は,各項目評価を用いた連続評価のためのフレームワークを構築し,最悪の場合のパフォーマンスを定量化するための新しい指標セットを定義する。
論文 参考訳(メタデータ) (2022-05-26T15:56:08Z) - Versatile and Robust Transient Stability Assessment via Instance
Transfer Learning [6.760999627905228]
本稿では,電力系統力学の知識を取り入れたデータ駆動型アルゴリズムに新たなデータ収集手法を提案する。
不安定領域に関する重要な情報を提供する断層影響領域という新しい概念を導入する。
IEEE 39バスシステムのテスト結果は、このモデルがこれまで見つからなかった運用シナリオの安定性を正確に予測できることを検証します。
論文 参考訳(メタデータ) (2021-02-20T09:10:29Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Fine-Grained Analysis of Stability and Generalization for Stochastic
Gradient Descent [55.85456985750134]
我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。
これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。
我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
論文 参考訳(メタデータ) (2020-06-15T06:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。