論文の概要: On Minimal Depth in Neural Networks
- arxiv url: http://arxiv.org/abs/2402.15315v1
- Date: Fri, 23 Feb 2024 13:34:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 14:32:52.431537
- Title: On Minimal Depth in Neural Networks
- Title(参考訳): ニューラルネットワークの最小深さについて
- Authors: Juan L. Valerdi
- Abstract要約: ニューラルネットワークの表現可能性の特徴は、人工知能における彼らの成功を理解することに関係している。
本研究では, ReLU ニューラルネットワークの表現性と, 連続的ピースワイド線形関数 (CPWL) の表現に必要な最小深度に関する予想との関係について検討する。
トピックは、和と最大演算の最小深度表現であり、ポリトープニューラルネットワークの探索である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A characterization of the representability of neural networks is relevant to
comprehend their success in artificial intelligence. This study investigate two
topics on ReLU neural network expressivity and their connection with a
conjecture related to the minimum depth required for representing any
continuous piecewise linear function (CPWL). The topics are the minimal depth
representation of the sum and max operations, as well as the exploration of
polytope neural networks. For the sum operation, we establish a sufficient
condition on the minimal depth of the operands to find the minimal depth of the
operation. In contrast, regarding the max operation, a comprehensive set of
examples is presented, demonstrating that no sufficient conditions, depending
solely on the depth of the operands, would imply a minimal depth for the
operation. The study also examine the minimal depth relationship between convex
CPWL functions. On polytope neural networks, we investigate several fundamental
properties, deriving results equivalent to those of ReLU networks, such as
depth inclusions and depth computation from vertices. Notably, we compute the
minimal depth of simplices, which is strictly related to the minimal depth
conjecture in ReLU networks.
- Abstract(参考訳): ニューラルネットワークの表現可能性の特徴は、人工知能での成功を理解するのに関係している。
本研究では, ReLU ニューラルネットワークの表現性と, 連続的ピースワイド線形関数 (CPWL) の表現に必要な最小深度に関する予想との関係について検討した。
トピックは、和演算と最大演算の最小深さ表現と、ポリトープニューラルネットワークの探索である。
和演算では、オペランドの最小深さについて十分条件を定め、操作の最小深さを求める。
対照的に、最大演算については、オペランドの深さのみに依存する十分な条件がなければ、操作の深さが最小になることを示す包括的な例が提示される。
また,凸CPWL関数間の最小深度関係についても検討した。
ポリトープニューラルネットワークでは,深度包摂や頂点からの深度計算など,ReLUネットワークに匹敵するいくつかの基本特性について検討する。
特に、ReLUネットワークにおける最小深度予想と厳密に関係している最小限の単純化深度を計算する。
関連論文リスト
- Expressivity of Shallow and Deep Neural Networks for Polynomial
Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。
また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文 参考訳(メタデータ) (2023-03-06T23:01:53Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - Convergence of Deep Neural Networks with General Activation Functions
and Pooling [5.316908050163474]
ディープラーニングの数学的基盤を構築する上で、ディープニューラルネットワークの収束は根本的な問題である。
深部ニューラルネットワークの収束性について検討し,その深度はReLUとSigmoid関数の2つの他の活性化関数に対して無限大であることを示した。
論文 参考訳(メタデータ) (2022-05-13T11:49:03Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Spurious Local Minima Are Common for Deep Neural Networks with Piecewise
Linear Activations [4.758120194113354]
スプリアスローカルミニマは、分割線形活性化機能を備えたディープフルコネクテッドネットワークおよびCNNに一般的です。
散発的な局所ミニマの存在理由を説明するために動機づける例が与えられる。
論文 参考訳(メタデータ) (2021-02-25T23:51:14Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Neural Networks with Complex-Valued Weights Have No Spurious Local
Minima [0.0]
二次活性化を持つ浅層複雑なニューラルネットワークは局所的ミニマムを持たないことが証明される。
対照的に、二次活性化を持つ浅い実ニューラルネットワークは、同じ条件下で無限に多くのスプリアス局所ミニマを有する。
論文 参考訳(メタデータ) (2021-01-31T10:44:38Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for
Deep ReLU Networks [21.13299067136635]
深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。
有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
論文 参考訳(メタデータ) (2020-12-21T19:32:17Z) - Piecewise linear activations substantially shape the loss surfaces of
neural networks [95.73230376153872]
本稿では,ニューラルネットワークの損失面を著しく形成する線形活性化関数について述べる。
我々はまず、多くのニューラルネットワークの損失面が、大域的なミニマよりも経験的リスクの高い局所的ミニマとして定義される無限の急激な局所的ミニマを持つことを証明した。
一層ネットワークの場合、セル内のすべての局所ミニマが同値類であり、谷に集中しており、セル内のすべてのグローバルミニマであることを示す。
論文 参考訳(メタデータ) (2020-03-27T04:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。