論文の概要: Functional dimension of feedforward ReLU neural networks

• arxiv url: http://arxiv.org/abs/2209.04036v1
• Date: Thu, 8 Sep 2022 21:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 13:11:23.471467
• Title: Functional dimension of feedforward ReLU neural networks
• Title（参考訳）: フィードフォワードReLUニューラルネットワークの機能次元
• Authors: J. Elisenda Grigsby, Kathryn Lindsey, Robert Meyerhoff, Chenxi Wu
• Abstract要約: 関数次元はReLUニューラルネットワーク関数のパラメータ空間で不均一であることを示す。 また、パラメータ空間から関数空間への実化写像の商空間とファイバーについても検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that the parameterized family of functions representable by fully-connected feedforward neural networks with ReLU activation function is precisely the class of piecewise linear functions with finitely many pieces. It is less well-known that for every fixed architecture of ReLU neural network, the parameter space admits positive-dimensional spaces of symmetries, and hence the local functional dimension near any given parameter is lower than the parametric dimension. In this work we carefully define the notion of functional dimension, show that it is inhomogeneous across the parameter space of ReLU neural network functions, and continue an investigation - initiated in [14] and [5] - into when the functional dimension achieves its theoretical maximum. We also study the quotient space and fibers of the realization map from parameter space to function space, supplying examples of fibers that are disconnected, fibers upon which functional dimension is non-constant, and fibers upon which the symmetry group acts non-transitively.
• Abstract（参考訳）: ReLUアクティベーション関数を持つ完全連結フィードフォワードニューラルネットワークで表現できる関数のパラメータ化された族は、正確には有限個の断片を持つ断片線型関数のクラスである。 ReLUニューラルネットワークの任意の固定構造に対して、パラメータ空間は対称性の正次元空間を許容するので、任意のパラメータの近傍の局所関数次元はパラメトリック次元よりも低い。 本研究では、関数次元の概念を慎重に定義し、reluニューラルネットワーク関数のパラメータ空間をまたいで不均一であることを示し、[14]および[5]で開始された調査を、関数次元がその理論的最大値に達したときまで継続する。 また、パラメータ空間から関数空間への実現写像の商空間とファイバーを研究し、切断されたファイバーの例、関数次元が定数でないファイバー、対称性群が非推移的に作用するファイバーを提供する。

関連論文リスト

• On Functional Dimension and Persistent Pseudodimension [0.0]
  本稿では,ReLUネットワーククラスに対する局所的に適用可能な2つの複雑性尺度と,それらの関係について知る。 前者は有限個の点のバッチで計算しやすく、後者はギャップに局所的な境界を与え、二重降下現象の力学の理解を知らせる。
  論文  参考訳（メタデータ） (2024-10-22T17:12:21Z)
• Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
  暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。 パラメータの異なる出力集合の幾何について検討する。 バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
  論文  参考訳（メタデータ） (2024-02-13T07:49:57Z)
• Piecewise Linear Functions Representable with Infinite Width Shallow ReLU Neural Networks [0.0]
  我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
  論文  参考訳（メタデータ） (2023-07-25T15:38:18Z)
• Deep neural network approximation of composite functions without the curse of dimensionality [0.0]
  本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。 クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
  論文  参考訳（メタデータ） (2023-04-12T12:08:59Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Geometry of Linear Convolutional Networks [7.990816079551592]
  線形畳み込みニューラルネットワーク(LCN)で表される関数群について検討する。 LCN上の目的関数の最適化について検討し,関数空間および勾配空間における臨界点を解析した。 全体として、LCNの最適化されたパラメータは、しばしば層をまたいだ繰り返しフィルタに対応すると予測する。
  論文  参考訳（メタデータ） (2021-08-03T14:42:18Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
  深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。 繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
  論文  参考訳（メタデータ） (2020-04-19T18:31:03Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。