Fugu-MT 論文翻訳(概要): A global universality of two-layer neural networks with ReLU activations

論文の概要: A global universality of two-layer neural networks with ReLU activations

arxiv url: http://arxiv.org/abs/2011.10225v1
Date: Fri, 20 Nov 2020 05:39:10 GMT
ステータス: 処理完了
システム内更新日: 2022-09-23 06:34:06.861811
Title: A global universality of two-layer neural networks with ReLU activations
Title（参考訳）: ReLU活性化を伴う2層ニューラルネットワークの普遍性
Authors: Naoya Hatano, Masahiro Ikeda, Isao Ishikawa, and Yoshihiro Sawano
Abstract要約: 関数空間における2層ニューラルネットワークの集合の密度に関するニューラルネットワークの普遍性について検討する。我々はノルムを適切に導入することで大域収束を考えるので、その結果は任意のコンパクト集合に対して一様となる。
参考スコア（独自算出の注目度）: 5.51579574006659
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the present study, we investigate a universality of neural networks, which concerns a density of the set of two-layer neural networks in a function spaces. There are many works that handle the convergence over compact sets. In the present paper, we consider a global convergence by introducing a norm suitably, so that our results will be uniform over any compact set.
Abstract（参考訳）: 本研究では,関数空間における2層ニューラルネットワークの集合の密度に関するニューラルネットワークの普遍性について検討する。コンパクト集合上の収束を扱う多くの作品がある。本稿では、任意のコンパクト集合に対して結果が均一となるように、基準を適切に導入することで大域収束を考える。

関連論文リスト

Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文参考訳（メタデータ） (2024-05-15T17:55:05Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Hybrid Zonotopes Exactly Represent ReLU Neural Networks [0.7100520098029437]
ハイブリッドゾノトープは、ReLUアクティベーション機能を備えたフィードフォワード完全連結ニューラルネットワークの等価表現を提供することを示す。本手法は,2変数の複雑性がネットワーク内のニューロンの総数に等しいことを示し,ネットワークのサイズが線形に増加することを示す。
論文参考訳（メタデータ） (2023-04-05T21:39:00Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文参考訳（メタデータ） (2023-01-01T02:11:39Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文参考訳（メタデータ） (2022-02-13T07:12:02Z)
LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文参考訳（メタデータ） (2021-03-01T03:10:11Z)
Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文参考訳（メタデータ） (2020-07-12T14:53:30Z)
A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime [9.89901717499058]
多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
論文参考訳（メタデータ） (2020-06-16T17:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。