論文の概要: The Geometric Structure of Fully-Connected ReLU-Layers

• arxiv url: http://arxiv.org/abs/2310.03482v1
• Date: Thu, 5 Oct 2023 11:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 16:23:57.217595
• Title: The Geometric Structure of Fully-Connected ReLU-Layers
• Title（参考訳）: 完全連結ReLU層の構造
• Authors: Jonatan Vallin, Karl Larsson, Mats G. Larson
• Abstract要約: ニューラルネットワークにおいて,$d$次元完全連結ReLU層の幾何学構造を定式化し,解釈する。 この構造は、分割セクターと超平面の間の交差を予見するための単純化された表現を容易にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formalize and interpret the geometric structure of $d$-dimensional fully connected ReLU-layers in neural networks. The parameters of a ReLU-layer induce a natural partition of the input domain, such that in each sector of the partition, the ReLU-layer can be greatly simplified. This leads to a geometric interpretation of a ReLU-layer as a projection onto a polyhedral cone followed by an affine transformation, in line with the description in [doi:10.48550/arXiv.1905.08922] for convolutional networks with ReLU activations. Further, this structure facilitates simplified expressions for preimages of the intersection between partition sectors and hyperplanes, which is useful when describing decision boundaries in a classification setting. We investigate this in detail for a feed-forward network with one hidden ReLU-layer, where we provide results on the geometric complexity of the decision boundary generated by such networks, as well as proving that modulo an affine transformation, such a network can only generate $d$ different decision boundaries. Finally, the effect of adding more layers to the network is discussed.
• Abstract（参考訳）: ニューラルネットワークにおいて,$d$次元完全連結ReLU層の幾何学構造を定式化し,解釈する。 ReLU層のパラメータは入力領域の自然な分割を誘導し、分割の各セクターにおいて、ReLU層を大幅に単純化することができる。 このことはReLU-層を多面体円錐への射影として幾何学的に解釈し、ReLU 活性化を伴う畳み込みネットワークの [doi:10.48550/arXiv. 1905.08922] の記述に従ってアフィン変換を行う。 さらに、この構造は分割セクタと超平面との交点の前画像の簡易表現を容易にし、分類設定において決定境界を記述する際に有用である。 本研究では,1つのReLU層を隠蔽したフィードフォワードネットワークにおいて,そのようなネットワークが生成する決定境界の幾何学的複雑さに関する結果を提供するとともに,アフィン変換を変調することにより,ネットワークが$d$の異なる決定境界しか生成できないことを示す。 最後に、ネットワークにさらにレイヤを追加する効果について論じる。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
  我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。 ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。 この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-02T02:33:24Z)
• Traversing the Local Polytopes of ReLU Neural Networks: A Unified Approach for Network Verification [6.71092092685492]
  ReLUアクティベーション機能を備えたニューラルネットワーク(NN)は、幅広いアプリケーションで成功している。 頑健さを検証し,解釈可能性を向上させるための従来の研究は,ReLU NNの断片線形関数形式を部分的に活用した。 本稿では,ReLU NNが入力空間で生成する独自のトポロジ構造について検討し,分割した局所ポリトープ間の隣接性を同定する。
  論文  参考訳（メタデータ） (2021-11-17T06:12:39Z)
• Gradient representations in ReLU networks as similarity functions [0.0]
  本稿では,ReLU(Rectified Linear Unit)アクティベート時にネットワークの接点空間をどのように利用して決定を洗練させるかを検討する。
  論文  参考訳（メタデータ） (2021-10-26T11:29:10Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks [0.0]
  F のアーキテクチャが二分分類タスクにおける決定領域の幾何と位相にどのように影響するかを考察する。 一般化されたReLUネットワーク F: Rn -> R の1つの隠蔽層を持つ決定領域が1つ以上の有界連結成分を持つことを証明するために、この障害を用いる。
  論文  参考訳（メタデータ） (2020-08-20T16:06:39Z)
• Hierarchical Verification for Adversarial Robustness [89.30150585592648]
  正解点$ell_p$ロバスト性検証問題に対する新しいフレームワークを提案する。 LayerCertは、修正線形アクティベーション(ReLU)を用いたディープフィードフォワードネットワークの階層的幾何構造を利用する 提案手法は,GeoCertに比べて,解決すべき凸プログラムの数とサイズを確実に削減できることを示す。
  論文  参考訳（メタデータ） (2020-07-23T07:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。