Fugu-MT 論文翻訳(概要): Deep ReLU Networks Can Fail the Best Approximation Property for Continuous Target Functions

論文の概要: Deep ReLU Networks Can Fail the Best Approximation Property for Continuous Target Functions

arxiv url: http://arxiv.org/abs/2610.31264v1
Date: Thu, 22 Oct 2026 13:37:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:44.388382
Title: Deep ReLU Networks Can Fail the Best Approximation Property for Continuous Target Functions
Title（参考訳）: Deep ReLU Networksは連続目標関数の最適近似特性を損なうことができる
Abstract要約: 本稿では,連続目標関数に対しても,深いReLUネットワークは一般に最高の近似特性を満足しないことを示す。我々の研究は、ReLUがグローバルミニマの存在を保証する数少ないアクティベーション関数の1つである浅部ニューラルネットワークの既存の結果とは対照的である。
参考スコア（独自算出の注目度）: 1.1844977816228046
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We construct a continuous function on $[-1,1]^2$ for which the infimum of the $L^2$-approximation error over the class of ReLU networks with two hidden layers and architecture $(2,2,1,1)$ is not attained. This counterexample shows that deep ReLU networks do not satisfy the best approximation property in general, even for continuous target functions. Our findings contrast with existing results for shallow neural networks, where ReLU is one of the few activation functions that guarantee the existence of global minima in typical regression tasks. The proof is based on the fact that the breaklines for neurons in the second hidden layer can bend, which breaks the symmetry arguments used in the one-hidden-layer case.
Abstract（参考訳）: L^2$-approximation誤差をReLUネットワークのクラス上で2つの隠蔽層とアーキテクチャを持つような連続関数を$[-1,1]^2$で構築する。この反例は、深いReLUネットワークが、連続目標関数に対しても、一般に最高の近似特性を満足していないことを示している。我々の研究は、ReLUが典型的な回帰タスクにおけるグローバルミニマの存在を保証する数少ないアクティベーション関数の1つである浅部ニューラルネットワークの既存の結果とは対照的である。この証明は、第2の隠れた層におけるニューロンの断線が曲げられるという事実に基づいており、これは1つの隠れた層の場合で使われる対称性の議論を破るものである。

関連論文リスト

NP-Hardness of Minimizing Neurons in Two-Hidden-Layer ReLU Neural Networks [0.0]
ニューラルネットワークアーキテクチャの最適化における基本的な問題は、ターゲット関数を近似するために必要な最小の隠れカウントを効率的に計算できるかどうかである。本稿では、この問題を$Lp(mathbbRd,mathbbRm)$近似制約の下で2層ReLUネットワークに対して解決する。すべての固定された$d ge 1$, $m ge 1$, $1 le p in$に対して、最適計算がNPハードであることを証明する。
論文参考訳（メタデータ） (2026-10-08T06:19:10Z)
Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
論文参考訳（メタデータ） (2023-10-29T08:47:48Z)
Approximating Positive Homogeneous Functions with Scale Invariant Neural Networks [28.2446416597989]
まず,数直線測定によるスパースベクトルの回復について考察する。この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
論文参考訳（メタデータ） (2023-08-05T10:17:04Z)
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文参考訳（メタデータ） (2023-06-30T09:17:39Z)
Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文参考訳（メタデータ） (2023-04-10T08:10:11Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文参考訳（メタデータ） (2021-10-25T07:12:53Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文参考訳（メタデータ） (2020-06-07T05:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。