論文の概要: Symmetry-quotient Flatness and Generalization
- arxiv url: http://arxiv.org/abs/2609.31634v1
- Date: Thu, 10 Sep 2026 06:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 14:34:20.835677
- Title: Symmetry-quotient Flatness and Generalization
- Title（参考訳）: 対称性商平坦性と一般化
- Abstract要約: ニューラルネットワークパラメータの商空間上での商平坦性、商線形安定性、入力滑らか性、一般化の対称性を考慮した理論を開発する。
商平坦性は、平坦性-平滑性引数の商空間を通して入力滑らか性を制御することを示す。
- 参考スコア（独自算出の注目度）: 10.076691842234002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a theorem-level pipeline in symmetry-quotient settings: quotient linear stability implies quotient flatness, quotient flatness implies input smoothness, and input smoothness yields generalization under local covering assumptions. Flatness is often associated with generalization, and Stochastic Gradient Descent (SGD) is frequently viewed as implicitly biased toward flat solutions. However, standard flatness measures are typically defined in the raw parameter space and are therefore not invariant under function-preserving symmetries such as positive rescaling. We develop a symmetry-aware theory of quotient flatness, quotient linear stability, input smoothness, and generalization on quotient spaces of neural-network parameters. For square loss and models equipped with function-preserving group actions, we define quotient flatness as the trace of the Hessian of the empirical loss on the regular quotient manifold. We show that quotient flatness controls input smoothness through a quotient-space analogue of the flatness-to-smoothness argument. We also prove that one-step mean-square quotient linear stability of the linearized SGD dynamics implies an explicit quotient-flatness bound in terms of the batch size and learning rate, and extend this analysis to higher-order tensor moments. Finally, under local covering and boundedness assumptions, we derive population generalization bounds in terms of quotient flatness and, consequently, in terms of quotient linear stability.
- Abstract（参考訳）: 商線型安定性は商平坦性を示し、商平坦性は入力滑らか性を示し、入力滑らか性は局所被覆仮定の下で一般化をもたらす。
平坦性はしばしば一般化と結びついており、確率勾配 Descent (SGD) はしばしば平坦解に対して暗黙的に偏りがあると見なされる。
しかし、標準平坦度測度は典型的には原パラメータ空間で定義され、したがって正の再スケーリングのような関数保存対称性の下では不変ではない。
ニューラルネットワークパラメータの商空間上での商平坦性、商線形安定性、入力滑らか性、一般化の対称性を考慮した理論を開発する。
関数保存群作用を備えた正方損失とモデルに対して、商平坦性は正則商多様体上の経験的損失のヘシアンのトレースとして定義する。
本研究では、平坦性-平滑性引数の商空間類似により、商平坦性が入力滑らか性を制御することを示す。
また、線形化されたSGD力学の1ステップ平均2乗線形安定性は、バッチサイズと学習率で有界な商平坦性を示すことを証明し、この解析を高次テンソルモーメントにまで拡張する。
最後に、局所被覆と有界性仮定の下では、商平坦性(英語版)(quotient flatness)の項で、したがって商線型安定性(英語版)(quotient linear stability)の項で、集団の一般化境界( population generalization bounds)を導出する。
関連論文リスト
- Hessian Rank Constraint for Learning Structure of Nonlinear Latent Variable Models [47.387003815326324]
非線形の場合の観測データ対数密度のクロスヘシアンから階数に基づく性質が生じることを示す。
我々は、潜伏変数を探索し、マルコフ同値までそれらの因果構造を復元するための純粋な1要素測定設定でHRCをインスタンス化する。
論文 参考訳（メタデータ） (2026-09-21T08:05:06Z) - Quotient Dynamics, Effective Curvature, and Implicit Bias in Positive Quadratic Networks [0.0]
正の二次ネットワークは、低ランク表現 f_U(x)=xtop UUtop x を持ち、UinmathbbRdtimes r は右乗法までしか特定できない。
この商構造は, トレーニング力学, 曲率, 回復, バイアスをいかに支配するかを考察する。
論文 参考訳（メタデータ） (2026-07-28T12:04:46Z) - Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence [0.0]
我々は再生空間におけるM-levの包括的理論を開発する。
ソボ空間に対しては、混合滑らか性関数を持つ滑らか性空間に接続する新たなレートを得る。
論文 参考訳（メタデータ） (2026-06-22T08:12:31Z) - On Higher-Order Geometric Refinements of Classical Covariance Asymptotics: An Approach via Intrinsic and Extrinsic Information Geometry [0.0]
混合、曲線指数族、潜在変数モデル、多様体-ルートパラメータ空間を含む曲線モデルでは、有限サンプルの振る舞いは予測から体系的に逸脱することができる。
我々は、正規パラメトリック族をフィッシャー制約ラオ計量の((,g))として見ることにより、座標不変な曲率対応の洗練を開発する。
本稿では,学習速度と後進平均二乗誤差における実対数正準しきい値の役割,および正規理論を特殊ケースとして回復する解空間上の曲率に基づく共分散展開について述べる。
論文 参考訳（メタデータ） (2026-04-14T13:40:13Z) - Quotient Geometry, Effective Curvature, and Implicit Bias in Simple Shallow Neural Networks [0.0]
我々は,単純な浅層ネットワークを解析するための微分幾何学的フレームワークを開発した。
まず、正規浅層ネットワークパラメータの対称性と商構造を特徴付ける。
次に,パラメータ移動の水平成分のみが1次予測器の進化に寄与することを示す。
論文 参考訳（メタデータ） (2026-03-23T02:50:30Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳（メタデータ） (2026-02-24T05:32:03Z) - Robust Tangent Space Estimation via Laplacian Eigenvector Gradient Orthogonalization [48.25304391127552]
データ多様体の接空間を推定することは、データ解析の基本的な問題である。
局所接空間推定を導くために,データのグローバル構造を利用したラプラシアン固有ベクトル勾配直交化法(LEGO)を提案する。
論文 参考訳（メタデータ） (2025-10-02T17:59:45Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Hessian Based Smoothing Splines for Manifold Learning [0.228438857884398]
多様体学習における多次元平滑化スプラインアルゴリズムを提案する。
平らな多様体のソボレフ空間上の二次形式に、薄板スプラインの曲げエネルギーペナルティを一般化する。
解の存在と一意性は、ヒルベルト空間を再現する理論を適用することによって示される。
論文 参考訳（メタデータ） (2023-02-10T02:49:05Z) - Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。
非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
論文 参考訳（メタデータ） (2020-12-09T16:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。