論文の概要: Two $\operatorname{ReLU}$ Layers is All You Need
- arxiv url: http://arxiv.org/abs/2610.28587v1
- Date: Tue, 20 Oct 2026 17:40:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.953507
- Title: Two $\operatorname{ReLU}$ Layers is All You Need
- Title(参考訳): 2つの$\operatorname{ReLU}$ Layers
- Abstract要約: すべての$operatornameReLU$ネットワークが、隠された2つの層を持つ$operatornameReLU$ネットワークによって正確にシミュレートできることを示す。
ホモロジー代数の充足に基づく証明と直接証明という2つの証明を示す。
- 参考スコア(独自算出の注目度): 6.311952568615851
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove that every $\operatorname{ReLU}$ network can be exactly simulated by a $\operatorname{ReLU}$ network with two hidden layers. We present two proofs: one that is based on fillings in homological algebra and a direct combinatorial proof.
- Abstract(参考訳): すべての$\operatorname{ReLU}$ネットワークは、隠された2つの層を持つ$\operatorname{ReLU}$ネットワークによって正確にシミュレートできることを示す。
ホモロジー代数の充足に基づく証明と直接組合せ証明という2つの証明を示す。
関連論文リスト
- Near-Optimal Dimension Lower Bounds for Single-Vector Embeddings of Maximum Inner Product Similarity [75.14269295861845]
シングルトンクエリでは、Chamferは最大内部積類似度(MAX-IP)になる。
すべての固定$in(0,1)$に対して、定数は$A_,c_>0$である。
単位球MAX-IPマトリクスは、DNFパターンマトリクスの正確な2値アフィンイメージであり、少なくとも8ドルのギャップがある。
論文 参考訳(メタデータ) (2026-07-22T17:27:20Z) - Shallower ReLU Network Representations via Exact Linear Algebra [6.437241429006478]
実数$n$の最大値は、$nle 10$ごとに2つの隠された層を持つReLUネットワークによって正確に表現可能であることを証明している。
特に$mathbbRd$ for $dle 9$ 上のすべての連続ピースワイズ線型関数は、2層ReLU表現を許容する。
論文 参考訳(メタデータ) (2026-07-22T16:58:02Z) - Burau representation, Squier's form, and non-Abelian anyons [53.92822954974537]
ブレイド群 $B_3$ のブラウ表現から構築した周波数可変2次元非アベリア的演算順序制御を導入する。
Squier 陽性ウィンドウの向こう側にある$Delta(omega)$の符号変更は、因果順序の交互に構成的かつ破壊的干渉を示す。
数値シミュレーションにより、拡張と抑制の両方が確認され、最小の$B_3$ブレイド制御が確立される。
論文 参考訳(メタデータ) (2025-10-21T00:25:21Z) - Better Neural Network Expressivity: Subdividing the Simplex [6.311952568615851]
我々は、$lceillog_3(n-1)rceil+1$ hidden layerは、$mathbbRn$上の全てのCPWL関数を計算するのに十分であることを示す。
この証明の重要なステップは、2つの隠れた層を持つReLUニューラルネットワークが5つの入力の最大関数を正確に表現できることである。
論文 参考訳(メタデータ) (2025-05-20T13:23:57Z) - On the Expressiveness of Rational ReLU Neural Networks With Bounded Depth [0.0]
重みが十進分数であるReLUネットワークにおいて、$F_n$は少なくとも$lceillog_3 (n+1)rceil隠蔽層を持つネットワークでしか表現できないことを示す。
実用的に関係のあるReLUネットワークの深さの非定常下界を初めて提供する。
論文 参考訳(メタデータ) (2025-02-10T09:26:35Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳(メタデータ) (2023-11-23T02:19:32Z) - Expressive power of binary and ternary neural networks [91.3755431537592]
3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
論文 参考訳(メタデータ) (2022-06-27T13:16:08Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳(メタデータ) (2020-07-09T07:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。