論文の概要: Generalization in Nonlinear Least Squares via Learned Feature Geometry

• arxiv url: http://arxiv.org/abs/2606.08799v2
• Date: Tue, 09 Jun 2026 02:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 13:21:50.806005
• Title: Generalization in Nonlinear Least Squares via Learned Feature Geometry
• Title（参考訳）: 学習特徴幾何学による非線形最小二乗の一般化
• Authors: Ayub Kharel, Ilja Kuzborskij, Patrick Rebeschini, Yasin Abbasi-Yadkori,
• Abstract要約: リッジ規則化非線形最小二乗モデルのオンアレージアルゴリズムによる一般化について検討する。 勾配モデルの幾何学を反映したデータ依存実効次元を用いて局所最小化器の誤差境界を導出する。
• 参考スコア（独自算出の注目度）: 15.966075413898336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the generalization of ridge-regularized nonlinear least-squares models via on-average algorithmic stability, deriving error bounds for local minimizers in terms of a data-dependent effective dimension that reflects the geometry of the gradient model at the trained parameters, through the empirical Jacobian Gram matrix and a residual-curvature term. In the linear case, where the curvature term vanishes, this recovers the classical effective dimension of the Jacobian kernel covariance, but evaluated at the trained model rather than at initialization as is typical in neural tangent kernel analyses. We further bound this effective dimension via covering complexity of the gradient features, leading to guarantees that depend on learned geometry rather than parameter count. In particular, for manifold-supported data and piecewise Lipschitz Jacobians, the bounds scale with intrinsic dimension, while for one-hidden-layer ReLU networks, the mechanism can be made explicit through counts of activation-stable regions. Experiments on synthetic manifolds, clustered distributions, and benchmark datasets illustrate trained-Jacobian compression, the tightness of the residual-curvature linearization, and agreement between the stability bound and observed generalization gaps. A key feature of our bounds is the simplicity of their derivation, which follows from first principles using the Brascamp-Lieb inequality under strongly log-concave noise.
• Abstract（参考訳）: 実験的ジャコビアン文法行列と残留曲率項を用いて, 学習パラメータにおける勾配モデルの幾何学を反映したデータ依存実効次元を用いて, 局所最小化器の誤差境界を導出した, 平均的アルゴリズム安定性によるリッジ正規化非線形最小二乗モデルの一般化について検討する。 曲率項が消える線形の場合、これはジャコビアン核の共分散の古典的な有効次元を回復するが、ニューラル・タンジェント・カーネル解析において典型的な初期化ではなく、訓練されたモデルで評価される。 さらに、勾配特徴の複雑さをカバーし、パラメータ数ではなく、学習した幾何学に依存することを保証することによって、この有効次元をさらに境界付けする。 特に、多様体支持データやピースワイズ・リプシッツ・ヤコビアンの場合、境界は内在次元でスケールするが、一層ReLUネットワークの場合、このメカニズムは活性化安定領域の数え上げによって明示することができる。 合成多様体、クラスタ分布、ベンチマークデータセットの実験では、訓練されたヤコビアン圧縮、残留曲率線形化の厳密性、安定性境界と観測された一般化ギャップの一致が示されている。 私たちの境界の鍵となる特徴は、その導出の単純さであり、これは強い対数対数雑音の下でBrascamp-Lieb不等式を用いた最初の原理から導かれる。

関連論文リスト

• A Geometric Measure of Linear Separability for Neural Representations [12.476368894025233]
  本研究では,一方のアフィン分離性に対する有限サンプル診断法である指向性線形分離性尺度(LSM)を導入する。 対象クラス A と競合集合 B に対して、LSM は |A| で正規化され、ターゲット側に留まらなければならない最小の競合サンプル侵入を測定する。
  論文  参考訳（メタデータ） (2026-06-07T16:31:54Z)
• A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
  本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。 MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。 合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-05T20:19:09Z)
• On Higher-Order Geometric Refinements of Classical Covariance Asymptotics: An Approach via Intrinsic and Extrinsic Information Geometry [0.0]
  混合、曲線指数族、潜在変数モデル、多様体-ルートパラメータ空間を含む曲線モデルでは、有限サンプルの振る舞いは予測から体系的に逸脱することができる。 我々は、正規パラメトリック族をフィッシャー制約ラオ計量の((,g))として見ることにより、座標不変な曲率対応の洗練を開発する。 本稿では,学習速度と後進平均二乗誤差における実対数正準しきい値の役割,および正規理論を特殊ケースとして回復する解空間上の曲率に基づく共分散展開について述べる。
  論文  参考訳（メタデータ） (2026-04-14T13:40:13Z)
• Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
  非ガウス共変量の設定における線形回帰の計算について検討する。 本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-12-04T20:31:47Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。