論文の概要: A Complete Symmetry Classification of Shallow ReLU Networks

• arxiv url: http://arxiv.org/abs/2604.14037v1
• Date: Wed, 15 Apr 2026 16:18:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.63182
• Title: A Complete Symmetry Classification of Shallow ReLU Networks
• Title（参考訳）: 浅部ReLUネットワークの完全対称性分類
• Authors: Pranavkrishnan Ramakrishnan,
• Abstract要約: 我々は,同じ機能を実現するニューラルアーキテクチャにおいて,異なるパラメータの研究を行う。 本稿では,ReLUアクティベーションの非微分性を利用して,浅い場合の対称性の完全な分類を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter space is not function space for neural network architectures. This fact, investigated as early as the 1990s under terms such as ``reverse engineering," or ``parameter identifiability", has led to the natural question of parameter space symmetries\textemdash the study of distinct parameters in neural architectures which realize the same function. Indeed, the quotient space obtained by identifying parameters giving rise to the same function, called the \textit{neuromanifold}, has been shown in some cases to have rich geometric properties, impacting optimization dynamics. Thus far, techniques towards complete classifications have required the analyticity of the activation function, notably excising the important case of ReLU. Here, in contrast, we exploit the non-differentiability of the ReLU activation to provide a complete classification of the symmetries in the shallow case.
• Abstract（参考訳）: パラメータ空間はニューラルネットワークアーキテクチャの関数空間ではない。 この事実は、1990年代に「逆工学」や「パラメータ識別可能性」といった用語で研究され、パラメータ空間対称性の自然な疑問を導いた。 実際、同じ函数を生じさせるパラメータを同定して得られる商空間である「textit{neuromanifold}」は、ある場合において、リッチな幾何学的性質を持つことが示され、最適化力学に影響を及ぼす。 これまでのところ、完全分類への技術は活性化関数の解析性を必要としており、特にReLUの重要な事例を抽出している。 これとは対照的に、ReLUアクティベーションの非微分性を利用して、浅い場合の対称性の完全な分類を提供する。

関連論文リスト

• Symmetry in Neural Network Parameter Spaces [36.618818500498676]
  冗長性のかなりの部分はパラメータ空間の対称性によって説明される。 これらの対称性は損失ランドスケープと制約学習のダイナミクスを形成し、最適化、一般化、モデルの複雑さを理解するための新しいレンズを提供する。 既存の文献を要約し、対称性と学習理論の関連を明らかにするとともに、この新興分野におけるギャップと機会を特定する。
  論文  参考訳（メタデータ） (2025-06-16T00:59:12Z)
• Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• The Empirical Impact of Neural Parameter Symmetries, or Lack Thereof [50.49582712378289]
  ニューラル・ネットワーク・アーキテクチャの導入により,ニューラル・パラメータ・対称性の影響について検討する。 我々は,パラメータ空間対称性を低減するために,標準的なニューラルネットワークを改良する2つの手法を開発した。 実験により,パラメータ対称性の経験的影響に関する興味深い観察がいくつか示された。
  論文  参考訳（メタデータ） (2024-05-30T16:32:31Z)
• Hidden symmetries of ReLU networks [17.332539115959708]
  一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。 本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
  論文  参考訳（メタデータ） (2023-06-09T18:07:06Z)
• Functional dimension of feedforward ReLU neural networks [0.0]
  関数次元はReLUニューラルネットワーク関数のパラメータ空間で不均一であることを示す。 また、パラメータ空間から関数空間への実化写像の商空間とファイバーについても検討する。
  論文  参考訳（メタデータ） (2022-09-08T21:30:16Z)
• GENNI: Visualising the Geometry of Equivalences for Neural Network Identifiability [14.31120627384789]
  ニューラルネットワークの対称性を可視化する効率的なアルゴリズムを提案する。 提案手法であるGENNIは,機能的に等価なパラメータを効率的に同定し,その結果の同値クラスの部分空間を可視化する。
  論文  参考訳（メタデータ） (2020-11-14T22:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。