論文の概要: Sharp bounds for the number of regions of maxout networks and vertices of Minkowski sums

• arxiv url: http://arxiv.org/abs/2104.08135v1
• Date: Fri, 16 Apr 2021 14:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 19:52:23.138097
• Title: Sharp bounds for the number of regions of maxout networks and vertices of Minkowski sums
• Title（参考訳）: ミンコフスキー和の最大ネットワークの領域数と頂点に対するシャープ境界
• Authors: Guido Mont\'ufar and Yue Ren and Leon Zhang
• Abstract要約: rank-k maxout ユニットは、最大 $k$ 線形関数を計算する関数です。 本稿では,最大単位を持つ人工フィードフォワードニューラルネットワークで表現可能な関数の線形領域数について報告する。
• 参考スコア（独自算出の注目度）: 1.1602089225841632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present results on the number of linear regions of the functions that can be represented by artificial feedforward neural networks with maxout units. A rank-k maxout unit is a function computing the maximum of $k$ linear functions. For networks with a single layer of maxout units, the linear regions correspond to the upper vertices of a Minkowski sum of polytopes. We obtain face counting formulas in terms of the intersection posets of tropical hypersurfaces or the number of upper faces of partial Minkowski sums, along with explicit sharp upper bounds for the number of regions for any input dimension, any number of units, and any ranks, in the cases with and without biases. Based on these results we also obtain asymptotically sharp upper bounds for networks with multiple layers.
• Abstract（参考訳）: 本稿では,最大単位を持つ人工フィードフォワードニューラルネットワークで表現可能な関数の線形領域数について報告する。 rank-k maxout ユニットは、最大で $k$ の線形関数を計算する関数である。 マックスアウト単位の単一層を持つネットワークでは、線形領域は、ミンコフスキー和のポリトープの上頂点に対応する。 入力次元,単位数,階数など任意の入力次元の領域数に対する明示的な鋭い上界に加えて,熱帯超曲面の交叉ポジェットや部分的ミンコフスキー和の上面の数という観点から,偏りのある場合においても顔数カウント式を求める。 これらの結果から,複数層ネットワークの漸近的にシャープな上界を得ることができた。

関連論文リスト

• SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
  本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。 私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。 アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2024-09-30T17:59:03Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes [3.0079490585515343]
  我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。 この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
  論文  参考訳（メタデータ） (2023-02-24T10:14:53Z)
• Enumeration of max-pooling responses with generalized permutohedra [39.58317527488534]
  最大プーリング層(英: Max-pooling layer)は、入力座標のシフトしたウィンドウの最大値を取ることで入力アレイをサンプリングする関数である。 このようなポリトープの面を特徴付け、1次元最大プーリング層における頂点数と面数の生成関数と閉式を得る。
  論文  参考訳（メタデータ） (2022-09-29T17:45:54Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Lower and Upper Bounds for Numbers of Linear Regions of Graph Convolutional Networks [11.338307976409707]
  線形領域の数は、断片的な線形活性化を伴うニューラルネットワークの表現率のよい指標と考えられている。 本稿では,従来のグラフ畳み込みネットワーク (GCN) の線形領域の数を1層,複数層シナリオで推定する。
  論文  参考訳（メタデータ） (2022-06-01T04:32:23Z)
• Spectral embedding and the latent geometry of multipartite networks [67.56499794542228]
  多くのネットワークはマルチパーティションであり、ノードはパーティションに分割され、同じパーティションのノードは接続されない。 本稿では,高次元空間の分割特異的な低次元部分空間近傍のスペクトル埋め込みにより得られるノード表現について述べる。 スペクトル埋め込み後の追従ステップとして,周辺次元ではなく固有次元のノード表現を復元する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T15:52:03Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。