論文の概要: Understanding Mode Connectivity via Parameter Space Symmetry

• arxiv url: http://arxiv.org/abs/2505.23681v1
• Date: Thu, 29 May 2025 17:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.030038
• Title: Understanding Mode Connectivity via Parameter Space Symmetry
• Title（参考訳）: パラメータ空間対称性によるモード接続の理解
• Authors: Bo Zhao, Nima Dehmamy, Robin Walters, Rose Yu,
• Abstract要約: ニューラルネットワークのミニマはしばしば、列車とテストの損失がほぼ一定である曲線で接続される。 パラメータ空間対称性を用いたミニマムの連結性を探索する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 33.150665036826624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network minima are often connected by curves along which train and test loss remain nearly constant, a phenomenon known as mode connectivity. While this property has enabled applications such as model merging and fine-tuning, its theoretical explanation remains unclear. We propose a new approach to exploring the connectedness of minima using parameter space symmetry. By linking the topology of symmetry groups to that of the minima, we derive the number of connected components of the minima of linear networks and show that skip connections reduce this number. We then examine when mode connectivity and linear mode connectivity hold or fail, using parameter symmetries which account for a significant part of the minimum. Finally, we provide explicit expressions for connecting curves in the minima induced by symmetry. Using the curvature of these curves, we derive conditions under which linear mode connectivity approximately holds. Our findings highlight the role of continuous symmetries in understanding the neural network loss landscape.
• Abstract（参考訳）: ニューラルネットワークのミニマは、しばしば、モード接続と呼ばれる、列車とテストの損失がほぼ一定である曲線で接続される。 この性質はモデルマージや微調整などの応用を可能にしているが、理論的な説明はいまだに不明である。 パラメータ空間対称性を用いたミニマムの連結性を探索する新しい手法を提案する。 対称性群の位相とミニマの位相を結びつけることにより、線形ネットワークのミニマの連結成分の数を導出し、スキップ接続がこの数を減少させることを示す。 次に、最小値のかなりの部分を占めるパラメータ対称性を用いて、モード接続とリニアモード接続がいつ保たれるかを検討する。 最後に、対称性によって誘導されるミニマの曲線を接続するための明示的な表現を提供する。 これらの曲線の曲率を用いて、線形モード接続がほぼ成立する条件を導出する。 本研究は,ニューラルネットワークの損失状況を理解する上での連続した対称性の役割を強調した。

関連論文リスト

• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Symmetries, flat minima, and the conserved quantities of gradient flow [20.12938444246729]
  パラメータ空間における連続対称性を見つけるための枠組みについて述べる。 この枠組みを非線形ニューラルネットワークに一般化するために,非線形・データ依存対称性の新たな集合を導入する。
  論文  参考訳（メタデータ） (2022-10-31T10:55:30Z)
• Annihilation of Spurious Minima in Two-Layer ReLU Networks [9.695960412426672]
  正方形損失に対する2層ReLUニューラルネットワークの適合に関する最適化問題について検討する。 ニューロンを追加することで、対称的な刺激性のミニマをサドルに変えることができる。 また、損失関数の対称性構造から生じるある種の部分空間における降下方向の存在を証明した。
  論文  参考訳（メタデータ） (2022-10-12T11:04:21Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。