Fugu-MT 論文翻訳(概要): No one-hidden-layer neural network can represent multivariable functions

論文の概要: No one-hidden-layer neural network can represent multivariable functions

arxiv url: http://arxiv.org/abs/2006.10977v1
Date: Fri, 19 Jun 2020 06:46:54 GMT
ステータス: 処理完了
システム内更新日: 2022-11-19 03:47:42.124501
Title: No one-hidden-layer neural network can represent multivariable functions
Title（参考訳）: 多変数関数を表現できない一層ニューラルネットワーク
Authors: Masayo Inoue, Mana Futamura, Hirokazu Ninomiya
Abstract要約: ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In a function approximation with a neural network, an input dataset is mapped to an output index by optimizing the parameters of each hidden-layer unit. For a unary function, we present constraints on the parameters and its second derivative by constructing a continuum version of a one-hidden-layer neural network with the rectified linear unit (ReLU) activation function. The network is accurately implemented because the constraints decrease the degrees of freedom of the parameters. We also explain the existence of a smooth binary function that cannot be precisely represented by any such neural network.
Abstract（参考訳）: ニューラルネットワークとの関数近似では、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。非定常関数に対しては、整流線形単位(relu)活性化関数を持つ一層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2導関数に制約を与える。制約がパラメータの自由度を減少させるため、ネットワークは正確に実装される。また、そのようなニューラルネットワークで正確に表現できない滑らかなバイナリ関数の存在についても説明する。

関連論文リスト

D2NO: Efficient Handling of Heterogeneous Input Function Spaces with Distributed Deep Neural Operators [7.119066725173193]
異種性を示す入力関数を扱うための新しい分散手法を提案する。中央ニューラルネットワークは、すべての出力関数間で共有情報を処理するために使用される。ニューラルネットワークが連続非線形作用素の普遍近似であることを示す。
論文参考訳（メタデータ） (2023-10-29T03:29:59Z)
Fractional Concepts in Neural Networks: Enhancing Activation and Loss Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文参考訳（メタデータ） (2023-10-18T10:49:29Z)
Points of non-linearity of functions generated by random neural networks [0.0]
1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。非線型性の点の期待分布を計算する。
論文参考訳（メタデータ） (2023-04-19T17:40:19Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文参考訳（メタデータ） (2022-09-26T17:59:58Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文参考訳（メタデータ） (2022-06-09T15:35:22Z)
Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。また,2層ニューラルネットワークについても同様の結果が得られた。
論文参考訳（メタデータ） (2021-08-10T23:30:29Z)
The Representation Power of Neural Networks: Breaking the Curse of Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文参考訳（メタデータ） (2020-12-10T04:44:07Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。