論文の概要: The Role of Symmetry in Optimizing Overparameterized Networks

• arxiv url: http://arxiv.org/abs/2604.25150v1
• Date: Tue, 28 Apr 2026 02:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.681245
• Title: The Role of Symmetry in Optimizing Overparameterized Networks
• Title（参考訳）: 過パラメータネットワークの最適化における対称性の役割
• Authors: Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh,
• Abstract要約: ニューラルネットワークにおける重み空間対称性を解析し、パラメータ化が追加の対称性をもたらすことを示す。 これらの対称性はヘッセンの対角的前提条件として作用し、より良条件のミニマの存在を可能にする。 幅が大きくなると、ヘッセントレースが減少し、条件数が改善され、収束が加速する。
• 参考スコア（独自算出の注目度）: 20.243751130516106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparameterization is central to the success of deep learning, yet the mechanisms by which it improves optimization remain incompletely understood. We analyze weight-space symmetries in neural networks and show that overparameterization introduces additional symmetries that benefit optimization in two distinct ways. First, we prove that these symmetries act as a form of diagonal preconditioning on the Hessian, enabling the existence of better-conditioned minima within each equivalence class of functionally identical solutions. Second, we show that overparameterization increases the probability mass of global minima near typical initializations, making these favorable solutions more reachable. Teacher-student network experiments validate our theoretical predictions: as width increases, the Hessian trace decreases, condition numbers improve, and convergence accelerates. Our analysis provides a unified framework for understanding overparameterization and width growth as a geometric transformation of the loss landscape.
• Abstract（参考訳）: 過度パラメータ化はディープラーニングの成功の中心であるが、最適化を改善するメカニズムはいまだに完全に理解されていない。 ニューラルネットワークにおける重み空間対称性を解析し、オーバーパラメータ化が2つの異なる方法で最適化の恩恵をもたらす追加の対称性を導入することを示す。 まず、これらの対称性がヘッセンの対角的プレコンディショニングの形式として作用し、機能的に同一な解の各同値類により良い条件付きミニマが存在することを証明する。 第二に、過パラメータ化は典型的初期化に近い大域最小化の確率質量を増大させ、これらの好ましい解がより到達可能であることを示す。 教師と学生のネットワーク実験は、幅が増加するにつれて、ヘッセンのトレースが減少し、条件数が改善され、収束が加速する、という理論予測を検証する。 我々の分析は、損失景観の幾何学的変換として、過パラメータ化と幅成長を理解するための統一的な枠組みを提供する。

関連論文リスト

• Reinforcement Learning Using known Invariances [54.91261509214309]
  本稿では、既知のグループ対称性をカーネルベースの強化学習に組み込むための理論的枠組みを開発する。 対称性を意識したRLは、標準のカーネルよりも大幅に性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-11-05T13:56:14Z)
• Symmetry in Neural Network Parameter Spaces [36.618818500498676]
  冗長性のかなりの部分はパラメータ空間の対称性によって説明される。 これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。 既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
  論文  参考訳（メタデータ） (2025-06-16T00:59:12Z)
• Improving Learning to Optimize Using Parameter Symmetries [16.76912881772023]
  パラメータ空間対称性を利用して効率を向上させる学習最適化(L2O)アルゴリズムを解析する。 この結果から,ニューラルネットワークパラメータ空間対称性を利用してメタ最適化を推し進める可能性が示唆された。
  論文  参考訳（メタデータ） (2025-04-21T19:03:23Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Neural Characteristic Activation Analysis and Geometric Parameterization for ReLU Networks [2.2713084727838115]
  本稿では,個々のニューロンの特徴的活性化境界を調べることによって,ReLUネットワークのトレーニングダイナミクスを解析するための新しいアプローチを提案する。 提案手法は,コンバージェンス最適化におけるニューラルネットワークのパラメータ化と正規化において重要な不安定性を示し,高速収束を阻害し,性能を損なう。
  論文  参考訳（メタデータ） (2023-05-25T10:19:13Z)
• The Geometry of Neural Nets' Parameter Spaces Under Reparametrization [35.5848464226014]
  我々は、リーマン幾何学の観点から、リパラメトリゼーションの下でのニューラルネットの不変性について研究する。 本稿では,ミニマムの平坦度,最適化,および確率密度について考察する。
  論文  参考訳（メタデータ） (2023-02-14T22:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。