論文の概要: Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
- arxiv url: http://arxiv.org/abs/2606.04754v1
- Date: Wed, 03 Jun 2026 11:37:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 07:07:40.494743
- Title: Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
- Title（参考訳）: 構造対称性を超えて:ニューロンの識別可能性による線形モード接続性
- Abstract要約: パラメータ対称性に注目が集まる一方で、パラメータ、データ、表現間の相互作用は未解明のままである。
我々は、独立したトレーニングランでニューロン識別能力を介して効果的な対称性の破れを定式化する。
ニューラルネットワークは、構造的に非対称なモデルであっても、ほぼ等価な解の大きいファミリーを許容できることを示す。
- 参考スコア（独自算出の注目度）: 42.828413986050045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many striking phenomena in deep learning, such as linear mode connectivity and the structured behavior of training dynamics, are closely tied to parameter symmetries: transformations that leave the realized function unchanged. Despite growing attention to parameter symmetries, the exact interplay between parameters, data, and representations remains underexplored. To investigate this, we develop a theoretical framework of effective function classes, i.e., the set of functions a neuron can realize on its input support, and the norm cost of realizing them. We then formalize effective symmetry breaking via neuron identifiability across independent training runs. Our analysis shows that neural networks can admit large families of approximately equivalent solutions even in structurally asymmetric models. We further show that neuron identifiability enables representation merging without prior alignment, and characterize when such merging admits a linear low-loss path. These findings highlight the role of effective function classes in affecting the loss landscape.
- Abstract（参考訳）: 線形モード接続や訓練力学の構造的挙動など、ディープラーニングにおける多くの顕著な現象はパラメータ対称性と密接に結びついている。
パラメータ対称性に注目が集まる一方で、パラメータ、データ、表現の正確な相互作用は未解明のままである。
そこで本研究では,ニューロンが入力支援において実現可能な関数の集合と,それを実現するための標準コストという,効果的な関数クラスの理論的枠組みを開発する。
次に、独立したトレーニングランをまたいだニューロン識別能力による効果的な対称性の破れを定式化する。
ニューラルネットワークは、構造的に非対称なモデルであっても、ほぼ等価な解の大きいファミリーを許容できることを示す。
さらに、ニューロンの識別可能性により、事前のアライメントなしに表現のマージが可能であり、そのようなマージが線状低損失経路を許容するときに特徴付けられることを示す。
これらの知見は、損失景観に影響を及ぼす効果的な機能クラスの役割を浮き彫りにした。
関連論文リスト
- On De-Individuated Neurons: Continuous Symmetries Enable Dynamic Topologies [0.0]
本稿では、新しい対称性を前提としたプリミティブのクラスである等方的アクティベーション関数を活用することにより、計算のための新しい手法を提案する。
タスク要求に応じて、リアルタイムの神経成長とアーキテクチャの縮小を可能にする。
論文 参考訳（メタデータ） (2026-02-26T12:47:14Z) - Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。
ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
論文 参考訳（メタデータ） (2025-06-26T22:40:30Z) - Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。
しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。
本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
論文 参考訳（メタデータ） (2025-04-23T21:27:32Z) - Learning Broken Symmetries with Approximate Invariance [1.0485739694839669]
多くの場合、正確な基礎となる対称性は理想化されたデータセットにのみ存在し、実際のデータに分解される。
データ拡張や同変ネットワークのような標準的なアプローチは、完全な、壊れた対称性の性質を表現できない。
本稿では,制約のないネットワークの一般性と性能と,制約のないネットワークの高速学習のバランスをとる学習モデルを提案する。
論文 参考訳（メタデータ） (2024-12-25T04:29:04Z) - Connectivity structure and dynamics of nonlinear recurrent neural networks [41.038855001225826]
ニューラルネットワークにおける接続構造が高次元集合活動をどのように形成するかを解析する理論を開発する。
単一ニューロンの活動では接続構造は見えず,集団活動は劇的に形成されている。
論文 参考訳（メタデータ） (2024-09-03T15:08:37Z) - The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。
我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。
実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
論文 参考訳（メタデータ） (2024-05-30T16:32:31Z) - Symmetry Induces Structure and Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。
ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
論文 参考訳（メタデータ） (2023-09-29T02:21:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。
本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文 参考訳（メタデータ） (2021-12-23T17:04:12Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。