論文の概要: Universal Solutions of Feedforward ReLU Networks for Interpolations
- arxiv url: http://arxiv.org/abs/2208.07498v1
- Date: Tue, 16 Aug 2022 02:15:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-17 13:06:24.988040
- Title: Universal Solutions of Feedforward ReLU Networks for Interpolations
- Title（参考訳）: 補間のためのフィードフォワードReLUネットワークの普遍解
- Authors: Changcun Huang
- Abstract要約: 本稿では、一般化のためのフィードフォワードReLUネットワークの解に関する理論的枠組みを提供する。
3層ネットワークでは,異なる種類の解を分類し,それらを正規化された形でモデル化し,その解探索をデータ,ネットワーク,トレーニングを含む3次元で検討する。
ディープ層ネットワークにおいて,ディープ層の基本挙動を記述できるスパース行列原理(sparse-matrix principle)と呼ばれる一般結果を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper provides a theoretical framework on the solution of feedforward
ReLU networks for interpolations, in terms of what is called an interpolation
matrix, which is the summary, extension and generalization of our three
preceding works, with the expectation that the solution of engineering could be
included in this framework and finally understood. To three-layer networks, we
classify different kinds of solutions and model them in a normalized form; the
solution finding is investigated by three dimensions, including data, networks
and the training; the mechanism of overparameterization solutions is
interpreted. To deep-layer networks, we present a general result called
sparse-matrix principle, which could describe some basic behavior of deep
layers and explain the phenomenon of the sparse-activation mode that appears in
engineering applications associated with brain science; an advantage of deep
layers compared to shallower ones is manifested in this principle. As
applications, a general solution of deep neural networks for classification is
constructed by that principle; and we also use the principle to study the
data-disentangling property of encoders. Analogous to the three-layer case, the
solution of deep layers is also explored through several dimensions. The
mechanism of multi-output neural networks is explained from the perspective of
interpolation matrices.
- Abstract（参考訳）: 本稿では、補間のためのフィードフォワードReLUネットワークの解に関する理論的枠組みを提供する。補間行列(interpolation matrix)と呼ばれるもので、これまでの3つの作品の要約、拡張、一般化であり、この枠組みに工学的解が組み込まれ、最終的に理解される。
3層ネットワークに対して,様々な種類の解を分類し,正規化形式にモデル化し,その解をデータ,ネットワーク,トレーニングなどの3次元で探索し,過パラメータ化解の機構を解釈する。
深層ネットワークに対して,深層層の基本的な挙動を記述し,脳科学に関連する工学的応用に現れるスパース活性化モードの現象を説明するスパース行列原理(sparse-matrix principle)という一般的な結果を提示する。
応用として、分類のためのディープニューラルネットワークの一般解は、その原理によって構築され、また、エンコーダのデータ分離特性の研究にもこの原理を用いる。
3層の場合と同様、深層層の解もいくつかの次元を通して探索される。
マルチアウトプットニューラルネットワークのメカニズムは補間行列の観点から説明される。
関連論文リスト
- On Generalization Bounds for Neural Networks with Low Rank Layers [4.2954245208408866]
深いネットワークにおける低ランク層がどのように階数や次元因子の蓄積を防げるかを解析するために、モーラーの鎖則をガウス複雑性に適用する。
この結果と,低ランク層を有するディープネットワークがフルランク層を有するディープネットワークよりも優れた一般化を実現できることを示す。
論文 参考訳（メタデータ） (2024-11-20T22:20:47Z) - On the Principles of ReLU Networks with One Hidden Layer [0.0]
バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。
理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
論文 参考訳（メタデータ） (2024-11-11T05:51:11Z) - Conditional computation in neural networks: principles and research trends [48.14569369912931]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。
特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文 参考訳（メタデータ） (2024-03-12T11:56:38Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳（メタデータ） (2024-02-04T08:57:42Z) - Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
論文 参考訳（メタデータ） (2023-05-25T23:32:10Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Approximation Power of Deep Neural Networks: an explanatory mathematical
survey [0.0]
本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。
我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
論文 参考訳（メタデータ） (2022-07-19T18:47:44Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Theoretical Exploration of Solutions of Feedforward ReLU networks [0.0]
本稿では,フィードフォワードReLUネットワークのメカニズムを,基本ルールを用いて一括線形関数の解を探索することによって解釈することを目的とする。
畳み込みネットワークの最後の3層のサブネットワーク、多層フィードフォワードネットワーク、オートエンコーダのデコーダの3つの典型的なネットワークアーキテクチャについて説明する。
論文 参考訳（メタデータ） (2022-01-24T01:51:52Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。