論文の概要: The Geometry of ReLU Networks through the ReLU Transition Graph

• arxiv url: http://arxiv.org/abs/2505.11692v2
• Date: Wed, 28 May 2025 21:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.898363
• Title: The Geometry of ReLU Networks through the ReLU Transition Graph
• Title（参考訳）: ReLU遷移グラフによるReLUネットワークの幾何学
• Authors: Sahil Rajesh Dhayalkar,
• Abstract要約: 我々は、ReLUトランジショングラフ(RTG)と呼ばれる物体のレンズを通して、ReLUニューラルネットワークを解析するための新しい理論的枠組みを開発する。 このグラフでは、各ノードはネットワークの活性化パターンによって誘導される線形領域に対応し、エッジは単一ニューロンのフリップによって異なる領域を接続する。 RTG幾何を表現性、一般化、ロバスト性に結びつける新しい理論結果の組を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a novel theoretical framework for analyzing ReLU neural networks through the lens of a combinatorial object we term the ReLU Transition Graph (RTG). In this graph, each node corresponds to a linear region induced by the network's activation patterns, and edges connect regions that differ by a single neuron flip. Building on this structure, we derive a suite of new theoretical results connecting RTG geometry to expressivity, generalization, and robustness. Our contributions include tight combinatorial bounds on RTG size and diameter, a proof of RTG connectivity, and graph-theoretic interpretations of VC-dimension. We also relate entropy and average degree of the RTG to generalization error. Each theoretical result is rigorously validated via carefully controlled experiments across varied network depths, widths, and data regimes. This work provides the first unified treatment of ReLU network structure via graph theory and opens new avenues for compression, regularization, and complexity control rooted in RTG analysis.
• Abstract（参考訳）: 本稿では,ReLUトランジショングラフ(RTG)と呼ばれる組み合わせ対象のレンズを用いて,ReLUニューラルネットワークを解析するための新しい理論フレームワークを開発する。 このグラフでは、各ノードはネットワークの活性化パターンによって誘導される線形領域に対応し、エッジは単一ニューロンのフリップによって異なる領域を接続する。 この構造に基づいて、RTG幾何を表現性、一般化、ロバスト性に結びつける新しい理論結果の組を導出する。 我々の貢献には、RTGサイズと直径の厳密な組合せ境界、RTG接続性の証明、VC次元のグラフ理論解釈が含まれる。 また、RTGのエントロピーと平均等級を一般化誤差に関連付ける。 それぞれの理論結果は、様々なネットワーク深さ、幅、データレシエーションをまたいだ注意深く制御された実験によって厳格に検証される。 この研究は、グラフ理論を介してReLUネットワーク構造を初めて統一的に処理し、RTG解析に根ざした圧縮、正規化、複雑性制御のための新たな道を開く。

関連論文リスト

• Generalization of Geometric Graph Neural Networks [84.01980526069075]
  幾何グラフニューラルネットワーク(GNN)の一般化能力について検討する。 我々は,このGNNの最適経験リスクと最適統計リスクとの一般化ギャップを証明した。 最も重要な観察は、前の結果のようにグラフのサイズに制限されるのではなく、1つの大きなグラフで一般化能力を実現することができることである。
  論文  参考訳（メタデータ） (2024-09-08T18:55:57Z)
• The Geometric Structure of Fully-Connected ReLU Layers [0.0]
  ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。 このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:54:07Z)
• Complex-Value Spatio-temporal Graph Convolutional Neural Networks and its Applications to Electric Power Systems AI [24.914412344973996]
  グラフ畳み込みニューラルネットワーク(GCN)を複素領域に一般化する。 複素数値GCNは、基礎となるグラフサポートの摂動に対して安定であることを示す。 我々は複雑なGCNを電力グリッド状態予測、電力グリッド攻撃検出、局所化に適用する。
  論文  参考訳（メタデータ） (2022-08-17T18:56:48Z)
• Generalization Guarantee of Training Graph Convolutional Networks with Graph Topology Sampling [83.77955213766896]
  グラフ畳み込みネットワーク(GCN)は近年,グラフ構造化データの学習において大きな成功を収めている。 スケーラビリティ問題に対処するため、Gsの学習におけるメモリと計算コストを削減するため、グラフトポロジサンプリングが提案されている。 本稿では,3層GCNのトレーニング(最大)におけるグラフトポロジサンプリングの最初の理論的正当性について述べる。
  論文  参考訳（メタデータ） (2022-07-07T21:25:55Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。