論文の概要: Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities

• arxiv url: http://arxiv.org/abs/2602.00693v1
• Date: Sat, 31 Jan 2026 12:30:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.339602
• Title: Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities
• Title（参考訳）: ReLUネットワークの学習空間のトポロジーと幾何学:接続性と特異性
• Authors: Marco Nurisso, Pierrick Leroy, Giovanni Petri, Francesco Vaccarino,
• Abstract要約: 本研究では,DAGとその誘起サブネットワークのトポロジーと特異点が複雑に結びついていることを示す。 これらの特異点の到達可能性について議論し、微分可能なプルーニングとの原理的な接続を確立する。
• 参考スコア（独自算出の注目度）: 4.110453843035319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the properties of the parameter space in feed-forward ReLU networks is critical for effectively analyzing and guiding training dynamics. After initialization, training under gradient flow decisively restricts the parameter space to an algebraic variety that emerges from the homogeneous nature of the ReLU activation function. In this study, we examine two key challenges associated with feed-forward ReLU networks built on general directed acyclic graph (DAG) architectures: the (dis)connectedness of the parameter space and the existence of singularities within it. We extend previous results by providing a thorough characterization of connectedness, highlighting the roles of bottleneck nodes and balance conditions associated with specific subsets of the network. Our findings clearly demonstrate that singularities are intricately connected to the topology of the underlying DAG and its induced sub-networks. We discuss the reachability of these singularities and establish a principled connection with differentiable pruning. We validate our theory with simple numerical experiments.
• Abstract（参考訳）: フィードフォワードReLUネットワークにおけるパラメータ空間の性質を理解することは、トレーニングダイナミクスを効果的に分析し指導するために重要である。 初期化後、勾配流下でのトレーニングは、パラメータ空間をReLU活性化関数の均質性から生じる代数多様体に決定的に制限する。 本研究では,一般有向非巡回グラフ(DAG)アーキテクチャ上に構築されたフィードフォワードReLUネットワークに関連する2つの重要な課題について検討する。 我々は、ネットワークの特定のサブセットに関連するボトルネックノードの役割とバランス条件を強調し、接続性の詳細な特徴付けを提供することにより、以前の結果を拡張した。 以上の結果から,DAGとそのサブネットワークのトポロジーと特異点が複雑に結びついていることが明らかとなった。 これらの特異点の到達可能性について議論し、微分可能なプルーニングとの原理的な接続を確立する。 簡単な数値実験で理論を検証する。

関連論文リスト

• On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks [0.0]
  本稿では,ニューラルネットワークの構成構造が最適化ランドスケープとトレーニングダイナミクスをどう形成するかを検討する。 グローバル収束特性は、適切な実解析的なコスト関数に対して導出可能であることを示す。 これらの知見が、シグモダルアクティベーションを持つニューラルネットワークにどのように一般化されるかについて議論する。
  論文  参考訳（メタデータ） (2025-11-12T23:27:02Z)
• Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs [0.0]
  我々は、ReLUトランジショングラフ(RTG)フレームワークを、深いReLUネットワークを理解するための包括的なグラフ理論モデルに拡張する。 このモデルでは、各ノードは線形活性化領域を表し、エッジは単一のReLUアクティベーションフリップによって異なる領域を接続する。
  論文  参考訳（メタデータ） (2025-09-03T06:38:22Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• On the Lipschitz Constant of Deep Networks and Double Descent [9.233158826773247]
  ディープネットワークの一般化誤差に関する既存の境界は、入力変数への滑らかなあるいは有界な依存を仮定する。 二重降下中の深層ネットワークにおける経験的リプシッツ定数に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2023-01-28T23:22:49Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。