論文の概要: On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks

• arxiv url: http://arxiv.org/abs/2008.09052v2
• Date: Thu, 2 Dec 2021 18:59:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 04:22:20.324048
• Title: On transversality of bent hyperplane arrangements and the topological expressiveness of ReLU neural networks
• Title（参考訳）: ReLUニューラルネットワークの曲げ超平面配置と位相表現性について
• Authors: J. Elisenda Grigsby and Kathryn Lindsey
• Abstract要約: F のアーキテクチャが二分分類タスクにおける決定領域の幾何と位相にどのように影響するかを考察する。 一般化されたReLUネットワーク F: Rn -> R の1つの隠蔽層を持つ決定領域が1つ以上の有界連結成分を持つことを証明するために、この障害を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Let F:R^n -> R be a feedforward ReLU neural network. It is well-known that for any choice of parameters, F is continuous and piecewise (affine) linear. We lay some foundations for a systematic investigation of how the architecture of F impacts the geometry and topology of its possible decision regions for binary classification tasks. Following the classical progression for smooth functions in differential topology, we first define the notion of a generic, transversal ReLU neural network and show that almost all ReLU networks are generic and transversal. We then define a partially-oriented linear 1-complex in the domain of F and identify properties of this complex that yield an obstruction to the existence of bounded connected components of a decision region. We use this obstruction to prove that a decision region of a generic, transversal ReLU network F: R^n -> R with a single hidden layer of dimension (n + 1) can have no more than one bounded connected component.
• Abstract（参考訳）: F:R^n -> R をフィードフォワード ReLU ニューラルネットワークとする。 任意のパラメータの選択に対して、F は連続かつ断片的(ファイン)線型であることはよく知られている。 我々は、Fのアーキテクチャが二項分類タスクの可能な決定領域の幾何と位相にどのように影響するかを体系的に研究するための基盤を定めている。 微分トポロジにおけるスムーズな関数の古典的発展に続いて、まず汎用的で超越的なReLUニューラルネットワークの概念を定義し、ほぼすべてのReLUネットワークが汎用的で超越的であることを示す。 次に、F の領域における部分向き線型 1-複素体を定義し、決定領域の有界連結成分の存在に障害をもたらすこの複素体の性質を同定する。 この障害を利用して、一般の逆ReLUネットワーク F: R^n -> R の1つの隠蔽層 (n + 1) を持つ決定領域が1つ以上の有界連結成分を持つことを証明する。

関連論文リスト

• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• The Geometric Structure of Fully-Connected ReLU Layers [0.0]
  ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。 このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:54:07Z)
• Neural Vector Fields: Generalizing Distance Vector Fields by Codebooks and Zero-Curl Regularization [73.3605319281966]
  メッシュと暗黙的符号なし距離関数(UDF)を演算する明示的な学習プロセスを採用した新しい3D表現であるNeural Vector Fields (NVF)を提案する。 両NVFを水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・非水密化・クロスドメイン化の4つのシナリオで評価した。
  論文  参考訳（メタデータ） (2023-09-04T10:42:56Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Local and global topological complexity measures OF ReLU neural network functions [0.0]
  Grunert-Kuhnel-Rote による Morse 理論のピースワイズ線形(PL) バージョンを適用して、位相的複雑性の新しい局所的および大域的概念を定義し、研究する。 各 F に対して、標準ポリトープ複体 K(F) と領域の K(F) への変形レトラクションを構成し、計算を行うための便利なコンパクトモデルを生成する方法を示す。
  論文  参考訳（メタデータ） (2022-04-12T19:49:13Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory [19.216784367141972]
  本研究では,ReLUアクティベーション機能を用いた深層ニューラルネットワークが学習する関数の特性を理解するための変分フレームワークを開発する。 我々は、深層 relu ネットワークが、この関数空間における正規化データ適合問題の解であることを示す表現子定理を導出する。
  論文  参考訳（メタデータ） (2021-05-07T16:18:22Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。