論文の概要: On Minimal Depth in Neural Networks

• arxiv url: http://arxiv.org/abs/2402.15315v2
• Date: Fri, 7 Jun 2024 10:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 19:47:50.288730
• Title: On Minimal Depth in Neural Networks
• Title（参考訳）: ニューラルネットワークの最小深さについて
• Authors: Juan L. Valerdi,
• Abstract要約: ニューラルネットワークの表現可能性の特徴は、人工知能における彼らの成功を理解することに関係している。 本研究では, ReLU ニューラルネットワークの表現性と, 連続的ピースワイド線形関数 (CPWL) の表現に必要な最小深度に関する予想との関係について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A characterization of the representability of neural networks is relevant to comprehend their success in artificial intelligence. This study investigate two topics on ReLU neural network expressivity and their connection with a conjecture related to the minimum depth required for representing any continuous piecewise linear (CPWL) function. The topics are the minimal depth representation of the sum and max operations, as well as the exploration of polytope neural networks. For the sum operation, we establish a sufficient condition on the minimal depth of the operands to find the minimal depth of the operation. In contrast, regarding the max operation, a comprehensive set of examples is presented, demonstrating that no sufficient conditions, depending solely on the depth of the operands, would imply a minimal depth for the operation. The study also examine the minimal depth relationship between convex CPWL functions. On polytope neural networks, we investigate basic depth properties from Minkowski sums, convex hulls, number of vertices, faces, affine transformations, and indecomposable polytopes. More significant findings include depth characterization of polygons; identification of polytopes with an increasing number of vertices, exhibiting small depth and others with arbitrary large depth; and most notably, the minimal depth of simplices, which is strictly related to the minimal depth conjecture in ReLU networks.
• Abstract（参考訳）: ニューラルネットワークの表現可能性の特徴は、人工知能における彼らの成功を理解することに関係している。 本研究では, ReLU ニューラルネットワークの表現性と, 連続的ピースワイド線形関数 (CPWL) の表現に必要な最小深度に関する予想との関係について検討した。 トピックは、和と最大演算の最小深度表現であり、ポリトープニューラルネットワークの探索である。 総和演算では,オペランドの最小深度で操作の最小深度を求めるのに十分な条件を確立する。 対照的に、最大演算については、オペランドの深さのみに依存する十分な条件がなければ、操作の深さが最小になることを示す包括的な例が提示される。 また,凸CPWL関数間の最小深度関係についても検討した。 ポリトープニューラルネットワークにおいて,ミンコフスキー和,凸殻,頂点数,面数,アフィン変換,分解不能ポリトープの基本深度特性について検討する。 より顕著な発見は、ポリゴンの深さのキャラクタリゼーション、頂点数の増加によるポリトープの同定、小さな深さと任意の大きな深さを持つもの、そして特に、ReLUネットワークにおける最小深さの予想と厳密に関係している最小の単純化の深さなどである。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
  我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。 様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
  論文  参考訳（メタデータ） (2023-07-18T12:47:35Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
  一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。 また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
  論文  参考訳（メタデータ） (2023-03-06T23:01:53Z)
• Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes [3.0079490585515343]
  我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。 この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
  論文  参考訳（メタデータ） (2023-02-24T10:14:53Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)
• Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
  一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。 我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
  論文  参考訳（メタデータ） (2020-05-31T21:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。