論文の概要: Two hidden layer suffice: the caterpillar net
- arxiv url: http://arxiv.org/abs/2610.26795v1
- Date: Mon, 19 Oct 2026 17:40:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:20:22.991081
- Title: Two hidden layer suffice: the caterpillar net
- Title（参考訳）: 隠れた2つの層:毛虫網
- Abstract要約: すべての連続ピースワイド線型函数 (CPWL) はアフィン関数の最大値の有限符号和である。
今や証明されていない予想は、最大対数深さを予測した。
Brunck et al. (2026) の証明に着想を得て、2つの隠れた層が一般CPWL関数に十分であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Every continuous piecewise linear (CPWL) function is a finite signed sum of maxima of affine functions, making maximum representation a central problem in the study of the expressiveness of ReLU networks. A now-disproved conjecture predicted logarithmic depth for maxima. Inspired by the proof by Brunck et al. (2026) that two hidden layers suffice for general CPWL functions, we give the Caterpillar Net, a nonrecursive construction for the maximum of $N$ inputs with two hidden layers of widths $O(N^2)$ and $2^{O(N\log N)}$. The construction has a direct geometric interpretation.
- Abstract（参考訳）: すべての連続ピースワイド線型関数(CPWL)はアフィン関数の最大値の有限符号和であり、ReLUネットワークの表現性の研究において最大表現が中心的な問題となる。
今や証明されていない予想は、最大対数深さを予測した。
Brunck et al (2026) の証明に触発され、一般のCPWL関数に対して2つの隠れた層が十分であることを示すと、キャタピラーネットは最大$N$入力に対して最大$O(N^2)$と$2^{O(N\log N)}$の隠れた2つの層を持つ非再帰的な構成を与える。
構造は直接幾何学的解釈を持つ。
関連論文リスト
- Layer-wise Lipschitz-Product Control for Deep Kolmogorov--Arnold Network Representations of Compositionally Structured Functions [51.56484100374058]
リプシッツ積は入力次元 n の独立な一次領域感受性境界を満たす。
実験では、いくつかの構成的構造化関数に対して P(KAN)=1.0 を確認する。
論文 参考訳（メタデータ） (2026-04-29T08:55:49Z) - Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳（メタデータ） (2026-03-19T15:53:41Z) - A Depth Hierarchy for Computing the Maximum in ReLU Networks via Extremal Graph Theory [3.0120086446979877]
本稿では,ReLUニューラルネットワークを用いた実入力に対して$d$以上の最大関数の正確な計算問題を考察する。
十分に狭いネットワークでは、最大値の非線形性を捕捉できないことを示す。
このことは、その単純性にもかかわらず、最大函数は固有の複雑さを持っていることを示唆している。
論文 参考訳（メタデータ） (2026-01-04T07:40:42Z) - Minimum Width of Deep Narrow Networks for Universal Approximation [9.00733527455972]
完全連結ニューラルネットワークに必要な最小幅の下限と上限について検討する。
より直感的な例を構築して、不等式 $w_minge d_y+mathbf1_d_xd_yleq2d_x$ の新たな証明を示す。
論文 参考訳（メタデータ） (2025-11-10T08:29:14Z) - Better Neural Network Expressivity: Subdividing the Simplex [6.311952568615851]
我々は、$lceillog_3(n-1)rceil+1$ hidden layerは、$mathbbRn$上の全てのCPWL関数を計算するのに十分であることを示す。
この証明の重要なステップは、2つの隠れた層を持つReLUニューラルネットワークが5つの入力の最大関数を正確に表現できることである。
論文 参考訳（メタデータ） (2025-05-20T13:23:57Z) - Depth-Bounds for Neural Networks via the Braid Arrangement [7.856998585396422]
我々は、$d$数値の最大値を表すのに必要な$Omega(loglog d)$ hidden layerの非定数な下界を証明する。
ランク3の最大化層とランク2の最大化層が続くと、最大7個の数を表すのに十分であることを示す。
論文 参考訳（メタデータ） (2025-02-13T13:37:52Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳（メタデータ） (2021-01-30T21:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。