論文の概要: The Role of Symmetry in Optimizing Overparameterized Networks

• arxiv url: http://arxiv.org/abs/2604.25150v1
• Date: Tue, 28 Apr 2026 02:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.681245
• Title: The Role of Symmetry in Optimizing Overparameterized Networks
• Title（参考訳）: 過パラメータネットワークの最適化における対称性の役割
• Abstract要約: ニューラルネットワークにおける重み空間対称性を解析し、パラメータ化が追加の対称性をもたらすことを示す。 これらの対称性はヘッセンの対角的前提条件として作用し、より良条件のミニマの存在を可能にする。 幅が大きくなると、ヘッセントレースが減少し、条件数が改善され、収束が加速する。
• 参考スコア（独自算出の注目度）: 20.243751130516106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterization is central to the success of deep learning, yet the mechanisms by which it improves optimization remain incompletely understood. We analyze weight-space symmetries in neural networks and show that overparameterization introduces additional symmetries that benefit optimization in two distinct ways. First, we prove that these symmetries act as a form of diagonal preconditioning on the Hessian, enabling the existence of better-conditioned minima within each equivalence class of functionally identical solutions. Second, we show that overparameterization increases the probability mass of global minima near typical initializations, making these favorable solutions more reachable. Teacher-student network experiments validate our theoretical predictions: as width increases, the Hessian trace decreases, condition numbers improve, and convergence accelerates. Our analysis provides a unified framework for understanding overparameterization and width growth as a geometric transformation of the loss landscape.
• Abstract（参考訳）: 過度パラメータ化はディープラーニングの成功の中心であるが、最適化を改善するメカニズムはいまだに完全に理解されていない。 ニューラルネットワークにおける重み空間対称性を解析し、オーバーパラメータ化が2つの異なる方法で最適化の恩恵をもたらす追加の対称性を導入することを示す。 まず、これらの対称性がヘッセンの対角的プレコンディショニングの形式として作用し、機能的に同一な解の各同値類により良い条件付きミニマが存在することを証明する。 第二に、過パラメータ化は典型的初期化に近い大域最小化の確率質量を増大させ、これらの好ましい解がより到達可能であることを示す。 教師と学生のネットワーク実験は、幅が増加するにつれて、ヘッセンのトレースが減少し、条件数が改善され、収束が加速する、という理論予測を検証する。 我々の分析は、損失景観の幾何学的変換として、過パラメータ化と幅成長を理解するための統一的な枠組みを提供する。

関連論文リスト

• Reducing Symmetry Increase in Equivariant Neural Networks [21.62431626298374]
  我々は、対称性の増大を、その減少のための原則的な枠組みとともに詳細に詳細に、詳細に評価する。 本稿では,有害な対称性の増加を防止するための特徴設計の実践的ガイドラインを提案する。 合成データセットと実世界のQM9データセットの両方について可視化と実験を行う。
  論文  参考訳（メタデータ） (2026-08-12T12:46:25Z)
• Aligning Network Equivariance with Data Symmetry: A Theoretical Framework and Adaptive Approach for Image Restoration [71.51826063983434]
  画像復元は本質的に逆問題である。 非厳密対称性を制約として、復元逆問題を定式化する。 最適復元演算子の等値誤差はデータ対称性誤差と離散化メッシュサイズによって厳密に制限されていることを示す。
  論文  参考訳（メタデータ） (2026-05-13T16:22:19Z)
• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• Reinforcement Learning Using known Invariances [54.91261509214309]
  本稿では、既知のグループ対称性をカーネルベースの強化学習に組み込むための理論的枠組みを開発する。 対称性を意識したRLは、標準のカーネルよりも大幅に性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-05T13:56:14Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Symmetry in Neural Network Parameter Spaces [36.618818500498676]
  冗長性のかなりの部分はパラメータ空間の対称性によって説明される。 これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。 既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
  論文  参考訳（メタデータ） (2025-06-16T00:59:12Z)
• Improving Learning to Optimize Using Parameter Symmetries [16.76912881772023]
  パラメータ空間対称性を利用して効率を向上させる学習最適化(L2O)アルゴリズムを解析する。 この結果から,ニューラルネットワークパラメータ空間対称性を利用してメタ最適化を推し進める可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-21T19:03:23Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。