論文の概要: Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities

• arxiv url: http://arxiv.org/abs/2602.00693v1
• Date: Sat, 31 Jan 2026 12:30:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.339602
• Title: Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities
• Title（参考訳）: ReLUネットワークの学習空間のトポロジーと幾何学:接続性と特異性
• Authors: Marco Nurisso, Pierrick Leroy, Giovanni Petri, Francesco Vaccarino,
• Abstract要約: 本研究では,DAGとその誘起サブネットワークのトポロジーと特異点が複雑に結びついていることを示す。 これらの特異点の到達可能性について議論し、微分可能なプルーニングとの原理的な接続を確立する。
• 参考スコア（独自算出の注目度）: 4.110453843035319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the properties of the parameter space in feed-forward ReLU networks is critical for effectively analyzing and guiding training dynamics. After initialization, training under gradient flow decisively restricts the parameter space to an algebraic variety that emerges from the homogeneous nature of the ReLU activation function. In this study, we examine two key challenges associated with feed-forward ReLU networks built on general directed acyclic graph (DAG) architectures: the (dis)connectedness of the parameter space and the existence of singularities within it. We extend previous results by providing a thorough characterization of connectedness, highlighting the roles of bottleneck nodes and balance conditions associated with specific subsets of the network. Our findings clearly demonstrate that singularities are intricately connected to the topology of the underlying DAG and its induced sub-networks. We discuss the reachability of these singularities and establish a principled connection with differentiable pruning. We validate our theory with simple numerical experiments.
• Abstract（参考訳）: フィードフォワードReLUネットワークにおけるパラメータ空間の性質を理解することは、トレーニングダイナミクスを効果的に分析し指導するために重要である。 初期化後、勾配流下でのトレーニングは、パラメータ空間をReLU活性化関数の均質性から生じる代数多様体に決定的に制限する。 本研究では,一般有向非巡回グラフ(DAG)アーキテクチャ上に構築されたフィードフォワードReLUネットワークに関連する2つの重要な課題について検討する。 我々は、ネットワークの特定のサブセットに関連するボトルネックノードの役割とバランス条件を強調し、接続性の詳細な特徴付けを提供することにより、以前の結果を拡張した。 以上の結果から,DAGとそのサブネットワークのトポロジーと特異点が複雑に結びついていることが明らかとなった。 これらの特異点の到達可能性について議論し、微分可能なプルーニングとの原理的な接続を確立する。 簡単な数値実験で理論を検証する。

関連論文リスト

• On the Convergence of Overparameterized Problems: Inherent Properties of the Compositional Structure of Neural Networks [0.0]
  本稿では,ニューラルネットワークの構成構造が最適化ランドスケープとトレーニングダイナミクスをどう形成するかを検討する。 グローバル収束特性は、適切な実解析的なコスト関数に対して導出可能であることを示す。 これらの知見が、シグモダルアクティベーションを持つニューラルネットワークにどのように一般化されるかについて議論する。
  論文  参考訳（メタデータ） (2025-11-12T23:27:02Z)
• Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs [0.0]
  我々は、ReLUトランジショングラフ(RTG)フレームワークを、深いReLUネットワークを理解するための包括的なグラフ理論モデルに拡張する。 このモデルでは、各ノードは線形活性化領域を表し、エッジは単一のReLUアクティベーションフリップによって異なる領域を接続する。
  論文  参考訳（メタデータ） (2025-09-03T06:38:22Z)
• Constraining the outputs of ReLU neural networks [13.645092880691188]
  本稿では、ReLUニューラルネットワークに自然に関連付けられた代数多様体のクラスを紹介する。 各活性化領域内のネットワーク出力のランク制約を解析することにより、ネットワークが表現可能な関数を特徴付ける構造を導出する。
  論文  参考訳（メタデータ） (2025-08-05T19:30:11Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• On the Lipschitz Constant of Deep Networks and Double Descent [9.233158826773247]
  ディープネットワークの一般化誤差に関する既存の境界は、入力変数への滑らかなあるいは有界な依存を仮定する。 二重降下中の深層ネットワークにおける経験的リプシッツ定数に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2023-01-28T23:22:49Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics [1.5393457051344297]
  本稿では,ReLU NN を連続的な線形スプラインとして再パラメータ化することを提案する。 我々は、その臨界点と固定点、ヘッセンスペクトル、およびヘッセンスペクトルを含む損失面の構造を驚くほど単純かつ透明に表現する。 Splineベースの可視化を使用した学習ダイナミクスのビデオはhttp://shorturl.at/tFWZ2.comで公開されている。
  論文  参考訳（メタデータ） (2020-08-04T19:19:49Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。