論文の概要: Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs

• arxiv url: http://arxiv.org/abs/2509.03056v1
• Date: Wed, 03 Sep 2025 06:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.433968
• Title: Discrete Functional Geometry of ReLU Networks via ReLU Transition Graphs
• Title（参考訳）: ReLU遷移グラフによるReLUネットワークの離散関数幾何学
• Authors: Sahil Rajesh Dhayalkar,
• Abstract要約: 我々は、ReLUトランジショングラフ(RTG)フレームワークを、深いReLUネットワークを理解するための包括的なグラフ理論モデルに拡張する。 このモデルでは、各ノードは線形活性化領域を表し、エッジは単一のReLUアクティベーションフリップによって異なる領域を接続する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We extend the ReLU Transition Graph (RTG) framework into a comprehensive graph-theoretic model for understanding deep ReLU networks. In this model, each node represents a linear activation region, and edges connect regions that differ by a single ReLU activation flip, forming a discrete geometric structure over the network's functional behavior. We prove that RTGs at random initialization exhibit strong expansion, binomial degree distributions, and spectral properties that tightly govern generalization. These structural insights enable new bounds on capacity via region entropy and on generalization via spectral gap and edge-wise KL divergence. Empirically, we construct RTGs for small networks, measure their smoothness and connectivity properties, and validate theoretical predictions. Our results show that region entropy saturates under overparameterization, spectral gap correlates with generalization, and KL divergence across adjacent regions reflects functional smoothness. This work provides a unified framework for analyzing ReLU networks through the lens of discrete functional geometry, offering new tools to understand, diagnose, and improve generalization.
• Abstract（参考訳）: 我々は、ReLUトランジショングラフ(RTG)フレームワークを、深いReLUネットワークを理解するための包括的なグラフ理論モデルに拡張する。 このモデルでは、各ノードは線形活性化領域を表し、エッジは単一のReLUアクティベーションフリップによって異なる領域を接続し、ネットワークの機能的振る舞いに対して離散的な幾何学的構造を形成する。 ランダム初期化時のRTGは、強い展開、二項次数分布、および一般化を厳しく支配するスペクトル特性を示す。 これらの構造的洞察は、領域エントロピーによるキャパシティの新たなバウンダリと、スペクトルギャップとエッジワイドKL分散による一般化を可能にする。 経験的に、我々は小さなネットワークのためのRTGを構築し、その滑らかさと接続性を測定し、理論的予測を検証した。 以上の結果から,領域エントロピーは過パラメータ化の下で飽和し,スペクトルギャップは一般化と相関し,KL分散は機能的滑らかさを反映していることが示唆された。 この研究は、離散関数幾何学のレンズを通してReLUネットワークを解析するための統一的なフレームワークを提供し、一般化を理解し、診断し、改善するための新しいツールを提供する。

関連論文リスト

• Constraining the outputs of ReLU neural networks [13.645092880691188]
  本稿では、ReLUニューラルネットワークに自然に関連付けられた代数多様体のクラスを紹介する。 各活性化領域内のネットワーク出力のランク制約を解析することにより、ネットワークが表現可能な関数を特徴付ける構造を導出する。
  論文  参考訳（メタデータ） (2025-08-05T19:30:11Z)
• The Geometry of ReLU Networks through the ReLU Transition Graph [0.0]
  我々は、ReLUトランジショングラフ(RTG)と呼ばれる物体のレンズを通して、ReLUニューラルネットワークを解析するための新しい理論的枠組みを開発する。 このグラフでは、各ノードはネットワークの活性化パターンによって誘導される線形領域に対応し、エッジは単一ニューロンのフリップによって異なる領域を接続する。 RTG幾何を表現性、一般化、ロバスト性に結びつける新しい理論結果の組を導出する。
  論文  参考訳（メタデータ） (2025-05-16T21:00:56Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Geometric Structure of Fully-Connected ReLU Layers [0.0]
  ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。 このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:54:07Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Spectral-Spatial Global Graph Reasoning for Hyperspectral Image Classification [50.899576891296235]
  畳み込みニューラルネットワークは、ハイパースペクトル画像分類に広く応用されている。 近年の手法は空間トポロジのグラフ畳み込みによってこの問題に対処しようとしている。
  論文  参考訳（メタデータ） (2021-06-26T06:24:51Z)
• Ridge Regression with Over-Parametrized Two-Layer Networks Converge to Ridgelet Spectrum [10.05944106581306]
  パラメータの分布は、リッジレット変換のスペクトルに収束することを示す。 この結果は、ニューラルネットワークの局所的なミニマを特徴づける新たな洞察を与える。
  論文  参考訳（メタデータ） (2020-07-07T13:47:57Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。