論文の概要: Hybrid Zonotopes Exactly Represent ReLU Neural Networks
- arxiv url: http://arxiv.org/abs/2304.02755v1
- Date: Wed, 5 Apr 2023 21:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 16:02:08.071632
- Title: Hybrid Zonotopes Exactly Represent ReLU Neural Networks
- Title（参考訳）: ReLUニューラルネットワークを正確に表現するハイブリッドゾノトープ
- Authors: Joshua Ortiz, Alyssa Vellucci, Justin Koeln, Justin Ruths
- Abstract要約: ハイブリッドゾノトープは、ReLUアクティベーション機能を備えたフィードフォワード完全連結ニューラルネットワークの等価表現を提供することを示す。
本手法は,2変数の複雑性がネットワーク内のニューロンの総数に等しいことを示し,ネットワークのサイズが線形に増加することを示す。
- 参考スコア（独自算出の注目度）: 0.7100520098029437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We show that hybrid zonotopes offer an equivalent representation of
feed-forward fully connected neural networks with ReLU activation functions.
Our approach demonstrates that the complexity of binary variables is equal to
the total number of neurons in the network and hence grows linearly in the size
of the network. We demonstrate the utility of the hybrid zonotope formulation
through three case studies including nonlinear function approximation, MPC
closed-loop reachability and verification, and robustness of classification on
the MNIST dataset.
- Abstract（参考訳）: ハイブリッドゾノトープは、ReLUアクティベーション機能を備えたフィードフォワード完全連結ニューラルネットワークの等価表現を提供することを示す。
提案手法では,バイナリ変数の複雑性はネットワーク内のニューロンの総数に等しいため,ネットワークのサイズが線形に増加することを示した。
本稿では, 非線形関数近似, MPC 閉ループ到達性, 検証, MNIST データセットによる分類の堅牢性などの3つのケーススタディを通じて, ハイブリッド型ゾノトープ定式化の有用性を実証する。
関連論文リスト
- Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Exploring the Approximation Capabilities of Multiplicative Neural
Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。
以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。
これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文 参考訳（メタデータ） (2023-01-11T17:57:33Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Approximation Properties of Deep ReLU CNNs [8.74591882131599]
本稿では,2次元空間上での深部ReLU畳み込みニューラルネットワーク(CNN)の近似特性について述べる。
この分析は、大きな空間サイズとマルチチャネルを持つ畳み込みカーネルの分解定理に基づいている。
論文 参考訳（メタデータ） (2021-09-01T05:16:11Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳（メタデータ） (2021-08-15T10:13:49Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳（メタデータ） (2021-03-01T03:10:11Z) - A global universality of two-layer neural networks with ReLU activations [5.51579574006659]
関数空間における2層ニューラルネットワークの集合の密度に関するニューラルネットワークの普遍性について検討する。
我々はノルムを適切に導入することで大域収束を考えるので、その結果は任意のコンパクト集合に対して一様となる。
論文 参考訳（メタデータ） (2020-11-20T05:39:10Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。