論文の概要: Algorithmic Determination of the Combinatorial Structure of the Linear Regions of ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2207.07696v1
• Date: Fri, 15 Jul 2022 18:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 07:50:58.431007
• Title: Algorithmic Determination of the Combinatorial Structure of the Linear Regions of ReLU Neural Networks
• Title（参考訳）: ReLUニューラルネットワークの線形領域の組合せ構造のアルゴリズムによる決定
• Authors: Marissa Masden
• Abstract要約: 正準多面体のすべての次元の領域と面を決定する。 この全標準構造を計算するアルゴリズムを提案する。 得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We algorithmically determine the regions and facets of all dimensions of the canonical polyhedral complex, the universal object into which a ReLU network decomposes its input space. We show that the locations of the vertices of the canonical polyhedral complex along with their signs with respect to layer maps determine the full facet structure across all dimensions. We present an algorithm which calculates this full combinatorial structure, making use of our theorems that the dual complex to the canonical polyhedral complex is cubical and it possesses a multiplication compatible with its facet structure. The resulting algorithm is numerically stable, polynomial time in the number of intermediate neurons, and obtains accurate information across all dimensions. This permits us to obtain, for example, the true topology of the decision boundaries of networks with low-dimensional inputs. We run empirics on such networks at initialization, finding that width alone does not increase observed topology, but width in the presence of depth does. Source code for our algorithms is accessible online at https://github.com/mmasden/canonicalpoly.
• Abstract（参考訳）: reluネットワークがその入力空間を分解する普遍対象である正準多面体錯体のすべての次元の領域とファセットをアルゴリズム的に決定する。 正準多面体複合体の頂点の位置とそれらの記号が層マップに対して全次元にわたってフルフェイス構造を決定することを示す。 本稿では,この完全組合せ構造を計算したアルゴリズムを提案する。この定理を用いて,正準多面体錯体に対する双対錯体は立方体であり,そのファセット構造と相反する乗法を持つ。 得られたアルゴリズムは、中間ニューロン数の多項式時間で数値的に安定であり、すべての次元にわたって正確な情報を得る。 これにより、例えば、低次元の入力を持つネットワークの決定境界の真のトポロジーを得ることができる。 初期化時にそのようなネットワーク上で経験則を実行し、幅だけは観測トポロジーを増加させるのではなく、深さの存在下で幅を増加させることを発見した。 アルゴリズムのソースコードはhttps://github.com/mmasden/canonicalpoly.comからアクセスできます。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Algebraic Complexity and Neurovariety of Linear Convolutional Networks [0.0]
  線形畳み込みネットワークを1次元および任意のストライドで検討する。 共通零点が対応する神経多様体のザリスキー閉包に対応する方程式を生成する。 このようなネットワークの最適化におけるすべての複素臨界点の数は、セグレ多様体の一般的なユークリッド距離と等しいことが判明した。
  論文  参考訳（メタデータ） (2024-01-29T23:00:15Z)
• The Geometric Structure of Fully-Connected ReLU Layers [0.0]
  ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。 このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:54:07Z)
• Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision [0.0]
  ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。 この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。 本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
  論文  参考訳（メタデータ） (2023-06-12T16:17:04Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。