論文の概要: ReLU Deep Neural Networks from the Hierarchical Basis Perspective
- arxiv url: http://arxiv.org/abs/2105.04156v1
- Date: Mon, 10 May 2021 07:25:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 14:24:45.003634
- Title: ReLU Deep Neural Networks from the Hierarchical Basis Perspective
- Title（参考訳）: 階層的基底から見たReLUディープニューラルネットワーク
- Authors: Juncai He, Lin Li, Jinchao Xu
- Abstract要約: 有限要素法における階層基底法との関連性を検討し,ReLU深部ニューラルネットワーク(DNNs)について検討した。
我々は、$x2$と$xy$のReLU DNNの近似スキームが、これらの2つの関数の階層ベース近似の構成バージョンであることを示した。
- 参考スコア（独自算出の注目度）: 8.74591882131599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study ReLU deep neural networks (DNNs) by investigating their connections
with the hierarchical basis method in finite element methods. First, we show
that the approximation schemes of ReLU DNNs for $x^2$ and $xy$ are composition
versions of the hierarchical basis approximation for these two functions. Based
on this fact, we obtain a geometric interpretation and systematic proof for the
approximation result of ReLU DNNs for polynomials, which plays an important
role in a series of recent exponential approximation results of ReLU DNNs.
Through our investigation of connections between ReLU DNNs and the hierarchical
basis approximation for $x^2$ and $xy$, we show that ReLU DNNs with this
special structure can be applied only to approximate quadratic functions.
Furthermore, we obtain a concise representation to explicitly reproduce any
linear finite element function on a two-dimensional uniform mesh by using ReLU
DNNs with only two hidden layers.
- Abstract（参考訳）: 有限要素法において,ReLUディープニューラルネットワーク(DNN)の階層的基礎法との関係を調べた。
まず、ReLU DNNの$x^2$と$xy$の近似スキームは、これらの2つの関数の階層基底近似の合成バージョンであることを示す。
この事実に基づいて,多項式に対するReLU DNNの近似結果の幾何学的解釈と体系的証明が得られ,最近のReLU DNNの指数関数近似結果のシリーズにおいて重要な役割を担っている。
ReLU DNN と $x^2$ および $xy$ の階層基底近似の関連性の調査を通じて、この特別な構造を持つ ReLU DNN が近似二次函数にのみ適用可能であることを示す。
さらに, 2つの隠れ層のみを持つrelu dnnを用いて, 2次元一様メッシュ上の任意の線形有限要素関数を明示的に再現する簡潔な表現を得る。
関連論文リスト
- Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation [22.689531776611084]
現在拡張されたニューラルネットワーク(PANN)
本稿では、ディープニューラルネットワーク(DNN)と近似を組み合わせた新しい機械学習アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-06-04T14:06:15Z) - On the Optimal Expressive Power of ReLU DNNs and Its Application in
Approximation with Kolmogorov Superposition Theorem [0.0]
本稿では,ReLU深部ニューラルネットワーク(DNN)の最適表現力とそのコルモゴロフ重ね合わせ理論による近似への応用について検討する。
論文 参考訳（メタデータ） (2023-08-10T11:42:09Z) - Representation and decomposition of functions in DAG-DNNs and structural
network pruning [3.04585143845864]
ディープニューラルネットワーク(DNN)の様々なサブアーキテクチャ上で定義された関数の導出にDAG-DNNを用いることができることを示す。
低三角形行列に付随する昇降構造により、ネットワークの構造的プルーニングを系統的に行うことができる。
論文 参考訳（メタデータ） (2023-06-16T09:18:36Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Approximation Properties of Deep ReLU CNNs [8.74591882131599]
本稿では,2次元空間上での深部ReLU畳み込みニューラルネットワーク(CNN)の近似特性について述べる。
この分析は、大きな空間サイズとマルチチャネルを持つ畳み込みカーネルの分解定理に基づいている。
論文 参考訳（メタデータ） (2021-09-01T05:16:11Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳（メタデータ） (2020-06-26T04:47:20Z) - A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。
これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。
我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文 参考訳（メタデータ） (2020-04-18T00:57:54Z) - Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted
$\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization
Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。
我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。
移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-03-18T17:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。