論文の概要: Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

• arxiv url: http://arxiv.org/abs/2606.04754v1
• Date: Wed, 03 Jun 2026 11:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 07:07:40.494743
• Title: Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
• Title（参考訳）: 構造対称性を超えて:ニューロンの識別可能性による線形モード接続性
• Authors: Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka,
• Abstract要約: パラメータ対称性に注目が集まる一方で、パラメータ、データ、表現間の相互作用は未解明のままである。 我々は、独立したトレーニングランでニューロン識別能力を介して効果的な対称性の破れを定式化する。 ニューラルネットワークは、構造的に非対称なモデルであっても、ほぼ等価な解の大きいファミリーを許容できることを示す。
• 参考スコア（独自算出の注目度）: 42.828413986050045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many striking phenomena in deep learning, such as linear mode connectivity and the structured behavior of training dynamics, are closely tied to parameter symmetries: transformations that leave the realized function unchanged. Despite growing attention to parameter symmetries, the exact interplay between parameters, data, and representations remains underexplored. To investigate this, we develop a theoretical framework of effective function classes, i.e., the set of functions a neuron can realize on its input support, and the norm cost of realizing them. We then formalize effective symmetry breaking via neuron identifiability across independent training runs. Our analysis shows that neural networks can admit large families of approximately equivalent solutions even in structurally asymmetric models. We further show that neuron identifiability enables representation merging without prior alignment, and characterize when such merging admits a linear low-loss path. These findings highlight the role of effective function classes in affecting the loss landscape.
• Abstract（参考訳）: 線形モード接続や訓練力学の構造的挙動など、ディープラーニングにおける多くの顕著な現象はパラメータ対称性と密接に結びついている。 パラメータ対称性に注目が集まる一方で、パラメータ、データ、表現の正確な相互作用は未解明のままである。 そこで本研究では,ニューロンが入力支援において実現可能な関数の集合と,それを実現するための標準コストという,効果的な関数クラスの理論的枠組みを開発する。 次に、独立したトレーニングランをまたいだニューロン識別能力による効果的な対称性の破れを定式化する。 ニューラルネットワークは、構造的に非対称なモデルであっても、ほぼ等価な解の大きいファミリーを許容できることを示す。 さらに、ニューロンの識別可能性により、事前のアライメントなしに表現のマージが可能であり、そのようなマージが線状低損失経路を許容するときに特徴付けられることを示す。 これらの知見は、損失景観に影響を及ぼす効果的な機能クラスの役割を浮き彫りにした。

関連論文リスト

• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Connectivity structure and dynamics of nonlinear recurrent neural networks [41.038855001225826]
  ニューラルネットワークにおける接続構造が高次元集合活動をどのように形成するかを解析する理論を開発する。 単一ニューロンの活動では接続構造は見えず,集団活動は劇的に形成されている。
  論文  参考訳（メタデータ） (2024-09-03T15:08:37Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Symmetry Induces Structure and Constraint of Learning [0.0]
  機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。 ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。 ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T02:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。