論文の概要: Theoretical Exploration of Solutions of Feedforward ReLU networks
- arxiv url: http://arxiv.org/abs/2202.01919v3
- Date: Wed, 9 Feb 2022 02:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-13 14:54:16.457265
- Title: Theoretical Exploration of Solutions of Feedforward ReLU networks
- Title（参考訳）: フィードフォワードReLUネットワークの解の理論的探索
- Authors: Changcun Huang
- Abstract要約: 本稿では,フィードフォワードReLUネットワークのメカニズムを,基本ルールを用いて一括線形関数の解を探索することによって解釈することを目的とする。
畳み込みネットワークの最後の3層のサブネットワーク、多層フィードフォワードネットワーク、オートエンコーダのデコーダの3つの典型的なネットワークアーキテクチャについて説明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper aims to interpret the mechanism of feedforward ReLU networks by
exploring their solutions for piecewise linear functions through basic rules.
The constructed solutions should be universal enough to explain the network
architectures of engineering. In order for that, we borrow the methodology of
theoretical physics to develop the theories. Some of the consequences of our
theories include: Under geometric backgrounds, the solutions of both
three-layer networks and deep-layer networks are presented, and the solution
universality is ensured by several ways; We give clear and intuitive
interpretations of each component of network architectures, such as the
parameter-sharing mechanism for multi-output, the function of each layer, the
advantage of deep layers, the redundancy of parameters, and so on. We explain
three typical network architectures: the subnetwork of last three layers of
convolutional networks, multi-layer feedforward networks, and the decoder of
autoencoders. This paper is expected to provide a basic foundation of theories
of feedforward ReLU networks for further investigations.
- Abstract（参考訳）: 本稿では,フィードフォワードReLUネットワークのメカニズムを,基本ルールを用いて一括線形関数の解を探索することによって解釈することを目的とする。
構築されたソリューションは、エンジニアリングのネットワークアーキテクチャを説明するのに十分普遍的であるべきです。
そのため、理論物理学の方法論を借用して理論を発展させる。
幾何学的背景下では、三層ネットワークと深層ネットワークの両方の解が提示され、解の普遍性はいくつかの方法で保証される。マルチアウトプットのパラメータ共有機構、各レイヤの機能、深層の利用、パラメータの冗長性など、ネットワークアーキテクチャの各コンポーネントを明確に直感的に解釈する。
畳み込みネットワークの最後の3層のサブネットワーク、多層フィードフォワードネットワーク、オートエンコーダのデコーダの3つの典型的なネットワークアーキテクチャについて説明する。
本稿では, フィードフォワードReLUネットワークの理論の基盤として, さらなる研究が期待されている。
関連論文リスト
- On the Principles of ReLU Networks with One Hidden Layer [0.0]
バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。
理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
論文 参考訳（メタデータ） (2024-11-11T05:51:11Z) - Unwrapping All ReLU Networks [1.370633147306388]
Deep ReLU Networksは線形モデルの集合に分解できる。
この分解をグラフニューラルネットワークやテンソル畳み込みネットワークに拡張する。
このモデルが、より安価で正確なSHAP値に繋がることを示す。
論文 参考訳（メタデータ） (2023-05-16T13:30:15Z) - Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural
Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。
この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文 参考訳（メタデータ） (2023-05-11T17:19:30Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Universal Solutions of Feedforward ReLU Networks for Interpolations [0.0]
本稿では、一般化のためのフィードフォワードReLUネットワークの解に関する理論的枠組みを提供する。
3層ネットワークでは,異なる種類の解を分類し,それらを正規化された形でモデル化し,その解探索をデータ,ネットワーク,トレーニングを含む3次元で検討する。
ディープ層ネットワークにおいて,ディープ層の基本挙動を記述できるスパース行列原理(sparse-matrix principle)と呼ばれる一般結果を示す。
論文 参考訳（メタデータ） (2022-08-16T02:15:03Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Learning with Capsules: A Survey [73.31150426300198]
カプセルネットワークは、オブジェクト中心の表現を学習するための畳み込みニューラルネットワーク(CNN)に代わるアプローチとして提案された。
CNNとは異なり、カプセルネットワークは部分的に階層的な関係を明示的にモデル化するように設計されている。
論文 参考訳（メタデータ） (2022-06-06T15:05:36Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳（メタデータ） (2021-08-15T10:13:49Z) - The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。
トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文 参考訳（メタデータ） (2021-06-18T15:00:00Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。