論文の概要: Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision

• arxiv url: http://arxiv.org/abs/2306.07212v1
• Date: Mon, 12 Jun 2023 16:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 13:53:10.128500
• Title: Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision
• Title（参考訳）: エッジ分割を用いたReLUネットワークからの多面体複合体抽出
• Authors: Arturs Berzins
• Abstract要約: ニューラルネットワークは、完全接続層やReLUアクティベーションなど、断片的にアフィン構造ブロックで構成されている。 この複合体は、ニューラルネットワークの理論的性質を特徴づけるために以前に研究されてきた。 本稿では,各ニューロンによって誘導される超平面との交点を介して領域を分割することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A neural network consisting of piecewise affine building blocks, such as fully-connected layers and ReLU activations, is itself a piecewise affine function supported on a polyhedral complex. This complex has been previously studied to characterize theoretical properties of neural networks, but, in practice, extracting it remains a challenge due to its high combinatorial complexity. A natural idea described in previous works is to subdivide the regions via intersections with hyperplanes induced by each neuron. However, we argue that this view leads to computational redundancy. Instead of regions, we propose to subdivide edges, leading to a novel method for polyhedral complex extraction. A key to this are sign-vectors, which encode the combinatorial structure of the complex. Our approach allows to use standard tensor operations on a GPU, taking seconds for millions of cells on a consumer grade machine. Motivated by the growing interest in neural shape representation, we use the speed and differentiability of our method to optimize geometric properties of the complex. The code is available at https://github.com/arturs-berzins/relu_edge_subdivision .
• Abstract（参考訳）: 完全連結層やreluアクティベーションのような分割アフィンビルディングブロックからなるニューラルネットワークは、それ自体が多面体複合体上でサポートされている分割アフィン関数である。 この複合体は以前、ニューラルネットワークの理論的性質を特徴づけるために研究されてきたが、実際は結合の複雑さが高いため、それを抽出することは課題である。 以前の研究で記述された自然な考え方は、各ニューロンによって誘導される超平面との交叉を介して領域を分割することである。 しかし、この考え方は計算冗長性につながると論じる。 領域の代わりに、辺を分割することを提案し、新しい多面体複体抽出法を導出する。 鍵となるのは、複合体の組合せ構造をコードする符号ベクトルである。 このアプローチでは、GPU上で標準的なテンソル操作を使用でき、コンシューマグレードマシン上で数百万のセルに数秒を要します。 神経形状表現への関心の高まりに動機づけられ,本手法の速度と微分性を用いて複合体の幾何学的性質を最適化する。 コードはhttps://github.com/arturs-berzins/relu_edge_subdivisionで入手できる。

関連論文リスト

• Combinatorial Regularity for Relatively Perfect Discrete Morse Gradient Vector Fields of ReLU Neural Networks [0.0]
  ReLUニューラルネットワークは、正準多面体複体(canonical polyhedral complex)と呼ばれる入力空間を断片的に線形に分解する。 以前、ReLUニューラルネットワークが断片的に線形なモースであるかどうかが決定可能であることが判明した。
  論文  参考訳（メタデータ） (2024-12-23T21:58:51Z)
• Towards Explaining Hypercomplex Neural Networks [6.543091030789653]
  ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。 我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
  論文  参考訳（メタデータ） (2024-03-26T17:58:07Z)
• A max-affine spline approximation of neural networks using the Legendre transform of a convex-concave representation [0.3007949058551534]
  本研究では,ニューラルネットワークをスプライン表現に変換する新しいアルゴリズムを提案する。 唯一の制約は、函数が有界で、よく定義された第二微分を持つことである。 また、各レイヤ上で独立してではなく、ネットワーク全体にわたって実行することもできる。
  論文  参考訳（メタデータ） (2023-07-16T17:01:20Z)
• Algorithmic Determination of the Combinatorial Structure of the Linear Regions of ReLU Neural Networks [0.0]
  正準多面体のすべての次元の領域と面を決定する。 この全標準構造を計算するアルゴリズムを提案する。 得られたアルゴリズムは、中間ニューロンの数に時間とともに数値的に安定し、すべての次元にわたって正確な情報を得る。
  論文  参考訳（メタデータ） (2022-07-15T18:36:12Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。