論文の概要: Parameter symmetries determine representational geometry in overparameterized nonlinear networks

• arxiv url: http://arxiv.org/abs/2609.39078v1
• Date: Wed, 30 Sep 2026 06:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.271675
• Title: Parameter symmetries determine representational geometry in overparameterized nonlinear networks
• Title（参考訳）: パラメータ対称性が過度パラメータ化非線形ネットワークにおける表現幾何学を決定する
• Abstract要約: パラメータ対称性の幅広いクラスが3つの原始的特徴変換を通して表現に作用することを示す。 また、実装レベルの選択ルールがこの縮退を解消できることを示す。
• 参考スコア（独自算出の注目度）: 18.73780610501048
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Representations are routinely used across machine learning, psychology, and neuroscience to draw inferences about the computations of biological and artificial systems. Such inferences presume a meaningful link between representational geometry and the computation being performed. For artificial neural networks, however, the extent to which function constrains representation remains unclear. One key obstacle is that these networks admit parameter symmetries: changes in parameterization that preserve function exactly while reshaping representational geometry. Here, we show that a broad class of parameter symmetries acts on representations through just three primitive feature transformations: addition, duplication, and scaling. This feature-level characterization yields a closed-form decomposition of representational geometry into essential and auxiliary components, which makes precise how degeneracy in representational geometry can grow with overparameterization even when function is held fixed. Finally, we show that implementation-level selection rules can resolve this degeneracy, yielding identifiable geometries in which features are weighted according to their contributions to the network's function. Together, our results delineate when representations can support inferences about computation, and when they cannot.
• Abstract（参考訳）: 表現は、生物学的および人工システムの計算に関する推論を引き出すために、機械学習、心理学、神経科学で日常的に使用される。 このような推論は、表現幾何学と実行中の計算との有意義なリンクを仮定する。 しかし、人工ニューラルネットワークの場合、どの関数が表現を制約するかはいまだ不明である。 重要な障害の1つは、これらのネットワークがパラメータ対称性を許容していることである: 表現幾何学を形作りながら関数を正確に保存するパラメータ化の変化である。 ここでは、パラメータ対称性の幅広いクラスが、3つの原始的特徴変換(加算、重複、スケーリング)を通して表現に作用することを示す。 この特徴レベルの特徴付けは、表現幾何学の閉形式分解を必須成分と補助成分に分解し、関数が固定された場合でも、過パラメータ化によって表現幾何学の縮退がどのように成長するかを正確にする。 最後に、実装レベルの選択規則により、ネットワークの機能への貢献に応じて特徴を重み付けした特定可能なジオメトリが得られることを示す。 同時に、表現が計算に関する推論をサポートすることができ、それらができない場合にも、結果が明記される。

関連論文リスト

• Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability [42.828413986050045]
  パラメータ対称性に注目が集まる一方で、パラメータ、データ、表現間の相互作用は未解明のままである。 我々は、独立したトレーニングランでニューロン識別能力を介して効果的な対称性の破れを定式化する。 ニューラルネットワークは、構造的に非対称なモデルであっても、ほぼ等価な解の大きいファミリーを許容できることを示す。
  論文  参考訳（メタデータ） (2026-06-03T11:37:58Z)
• A Complete Symmetry Classification of Shallow ReLU Networks [0.0]
  我々は,同じ機能を実現するニューラルアーキテクチャにおいて,異なるパラメータの研究を行う。 本稿では,ReLUアクティベーションの非微分性を利用して,浅い場合の対称性の完全な分類を行う。
  論文  参考訳（メタデータ） (2026-04-15T16:18:44Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• The Origins of Representation Manifolds in Large Language Models [52.68554895844062]
  表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
  論文  参考訳（メタデータ） (2025-05-23T13:31:22Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
  ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。 我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-11T15:07:18Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• Hidden symmetries of ReLU networks [17.332539115959708]
  一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。 本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
  論文  参考訳（メタデータ） (2023-06-09T18:07:06Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。