Fugu-MT 論文翻訳(概要): An in-depth look at approximation via deep and narrow neural networks

論文の概要: An in-depth look at approximation via deep and narrow neural networks

arxiv url: http://arxiv.org/abs/2510.07202v1
Date: Wed, 08 Oct 2025 16:34:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-09 16:41:20.632145
Title: An in-depth look at approximation via deep and narrow neural networks
Title（参考訳）: 深部ニューラルネットワークと狭部ニューラルネットワークによる近似の詳細な考察
Authors: Joris Dommel, Sven A. Wegner,
Abstract要約: 2017年、ハニンとセルケは、幅 w の任意の深度、実数値、フィードフォワードおよびReLU活性化ネットワークのクラスが、Rn 上の連続函数の空間の密部分集合を形成することを示した。我々は、近似の質がどのように振る舞うかを、深さや効果(スポイラー警告:死のニューロン)によってどのように振る舞うかを調べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In 2017, Hanin and Sellke showed that the class of arbitrarily deep, real-valued, feed-forward and ReLU-activated networks of width w forms a dense subset of the space of continuous functions on R^n, with respect to the topology of uniform convergence on compact sets, if and only if w>n holds. To show the necessity, a concrete counterexample function f:R^n->R was used. In this note we actually approximate this very f by neural networks in the two cases w=n and w=n+1 around the aforementioned threshold. We study how the approximation quality behaves if we vary the depth and what effect (spoiler alert: dying neurons) cause that behavior.
Abstract（参考訳）: 2017年、ハニンとセルケは、幅 w の任意の深さ、実数値、フィードフォワード、および ReLU 活性化されたネットワークのクラスが、コンパクト集合上の一様収束の位相に関して R^n 上の連続函数の空間の密部分集合を形成することを示した。その必要性を示すために, 具体的な反例関数f:R^n->Rを用いた。ここでは、上記しきい値付近の w=n と w=n+1 の2つのケースにおいて、ニューラルネットワークによって実際にこの f を近似する。我々は、近似の質がどのように振る舞うかを、深さや効果(スポイラー警告:死のニューロン)によってどのように振る舞うかを調べる。

関連論文リスト

Approximation properties of neural ODEs [5.828989070109041]
連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
論文参考訳（メタデータ） (2025-03-19T21:11:28Z)
Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文参考訳（メタデータ） (2022-08-28T22:44:07Z)
What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文参考訳（メタデータ） (2022-08-01T17:19:32Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文参考訳（メタデータ） (2021-10-28T17:11:38Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文参考訳（メタデータ） (2021-02-20T10:14:37Z)
Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文参考訳（メタデータ） (2021-01-30T21:30:11Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
論文参考訳（メタデータ） (2020-07-28T14:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。