論文の概要: Regularization Implies balancedness in the deep linear network

• arxiv url: http://arxiv.org/abs/2511.01137v1
• Date: Mon, 03 Nov 2025 01:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.076938
• Title: Regularization Implies balancedness in the deep linear network
• Title（参考訳）: 正則化は深い線形ネットワークにおける平衡性に影響を及ぼす
• Authors: Kathryn Lindsey, Govind Menon,
• Abstract要約: 我々は、幾何学的不変量理論(GIT)を用いて、ディープ線形ネットワーク(DLN)を研究する。 ケンプ=ネッス定理(Kempf-Ness theorem)は、$L2$正則化器が均衡多様体上で最小化されることを保証するために用いられる。 モーメントマップを用いて正則化フローが正確に解けることを示す。
• 参考スコア（独自算出の注目度）: 1.1458853556386799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We use geometric invariant theory (GIT) to study the deep linear network (DLN). The Kempf-Ness theorem is used to establish that the $L^2$ regularizer is minimized on the balanced manifold. This allows us to decompose the training dynamics into two distinct gradient flows: a regularizing flow on fibers and a learning flow on the balanced manifold. We show that the regularizing flow is exactly solvable using the moment map. This approach provides a common mathematical framework for balancedness in deep learning and linear systems theory. We use this framework to interpret balancedness in terms of model reduction and Bayesian principles.
• Abstract（参考訳）: 我々は、幾何学的不変量理論(GIT)を用いて、ディープ線形ネットワーク(DLN)を研究する。 ケンプ=ネッス定理(Kempf-Ness theorem)は、$L^2$正則化器が均衡多様体上で最小化されることを保証するために用いられる。 これにより、トレーニングダイナミクスを繊維上の正規化フローと平衡多様体上の学習フローという、2つの異なる勾配流に分解することができる。 モーメントマップを用いて正則化フローが正確に解けることを示す。 このアプローチは、ディープラーニングと線形システム理論におけるバランス性に関する一般的な数学的枠組みを提供する。 我々はこの枠組みを用いて、モデル還元とベイズ原理の両立性を解釈する。

関連論文リスト

• Diagonal Linear Networks and the Lasso Regularization Path [8.426855646402238]
  対角線ネットワークの完全なトレーニング軌跡は,ラッソ正規化経路と密接に関連していることを示す。 ラッソ正規化経路上の単調性仮定の下では、接続は正確であるが、一般の場合、近似接続を示す。
  論文  参考訳（メタデータ） (2025-09-23T07:59:25Z)
• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
  正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。 本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
  論文  参考訳（メタデータ） (2022-01-21T19:00:18Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
  線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。 本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:35Z)
• Computing the renormalization group flow of two-dimensional $\phi^4$ theory with tensor networks [0.0]
  2次元における$phi4$理論の再正規化群フローについて検討する。 空間をきめ細かい格子にし、制御された方法でスカラー場を離散化することで、理論の分割関数をテンソルネットワークとして書き換える。
  論文  参考訳（メタデータ） (2020-03-29T10:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。