論文の概要: Characterizing the Discrete Geometry of ReLU Networks

• arxiv url: http://arxiv.org/abs/2606.07728v1
• Date: Fri, 05 Jun 2026 17:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.372055
• Title: Characterizing the Discrete Geometry of ReLU Networks
• Title（参考訳）: ReLUネットワークの離散幾何学的特徴付け
• Authors: Blake B. Gaines, Jinbo Bi,
• Abstract要約: ReLUネットワークは連続片方向線形関数を定義し、その線形領域は入力空間におけるポリヘドラである。 これらの領域の整合性は,ネットワークの動作に基本的であることを示す。 完全連結ReLUネットワークを全て保持するこれらの複素数に関する新たな理論的結果が証明される。
• 参考スコア（独自算出の注目度）: 4.716880809392674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is well established that ReLU networks define continuous piecewise-linear functions, and that their linear regions are polyhedra in the input space. These regions form a complex that fully partitions the input space. The way these regions fit together is fundamental to the behavior of the network, as nonlinearities occur only at the boundaries where these regions connect. However, relatively little is known about the geometry of these complexes beyond bounds on the total number of regions, and calculating the complex exactly is intractable for most networks. In this work, we prove new theoretical results about these complexes that hold for all fully-connected ReLU networks, specifically about their connectivity graphs in which nodes correspond to regions and edges exist between each pair of regions connected by a face. We find that the average degree of this graph is upper bounded by twice the input dimension regardless of the width and depth of the network, and that the diameter of this graph has an upper bound that does not depend on input dimension, despite the number of regions increasing exponentially with input dimension. We corroborate our findings through experiments with networks trained on both synthetic and real-world data, which provide additional insight into the geometry of ReLU networks. Code to reproduce our results can be found at https://github.com/bl-ake/ICLR-2026.
• Abstract（参考訳）: ReLU ネットワークが連続な片方向線形関数を定義し、それらの線型領域が入力空間のポリヘドラであることはよく証明されている。 これらの領域は、入力空間を完全に分割する複素体を形成する。 これらの領域が結合する境界においてのみ非線形性が発生するため、これらの領域の適合性はネットワークの振舞いの基本となる。 しかし、これらの複合体の総領域数の境界を超える幾何学についてはあまり知られておらず、ほとんどのネットワークでは正確に複素数を計算することは難解である。 本研究では,すべての完全連結ReLUネットワークを包含するこれらの複合体,特に,ノードが一対の領域間に存在する領域とエッジに対応する接続グラフについて,新たな理論的結果を示す。 このグラフの平均次数は、ネットワークの幅と深さに関わらず入力次元の2倍の上限であり、このグラフの直径は入力次元に比例して指数関数的に増加する領域数にもかかわらず、入力次元に依存しない上限を持つ。 我々は、ReLUネットワークの幾何学に関するさらなる洞察を提供するために、合成データと実世界のデータの両方で訓練されたネットワークの実験を通して、我々の発見を裏付ける。 結果の再現コードはhttps://github.com/bl-ake/ICLR-2026.comで確認できます。

関連論文リスト

• SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
  入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。 本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T14:14:17Z)
• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• The Computational Complexity of Counting Linear Regions in ReLU Neural Networks [9.31624649785042]
  線型領域が実際に何であるかについては、多くの異なる定義が存在する。 種々の定義に対して,そのような領域の数を数えることの計算複雑性を解析する。 アルゴリズム面では、いくつかの共通定義に対して少なくとも空間において線形領域を数えることが可能であることを示す。
  論文  参考訳（メタデータ） (2025-05-22T14:25:12Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Algorithmic Determination of the Combinatorial Structure of the Linear Regions of ReLU Neural Networks [0.0]
  正準多面体のすべての次元の領域と面を決定する。 この全標準構造を計算するアルゴリズムを提案する。 得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
  論文  参考訳（メタデータ） (2022-07-15T18:36:12Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。