論文の概要: Successive Affine Learning for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2305.07996v2
- Date: Tue, 11 Jul 2023 15:56:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 18:18:31.670285
- Title: Successive Affine Learning for Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのための逐次アフィン学習
- Authors: Yuesheng Xu
- Abstract要約: 本稿では,深層ニューラルネットワーク(DNN)構築のための逐次学習(SAL)モデルを提案する。
提案したSALモデルはMGDLモデルから変異する。
- 参考スコア（独自算出の注目度）: 3.0069322256338906
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a successive affine learning (SAL) model for
constructing deep neural networks (DNNs). Traditionally, a DNN is built by
solving a non-convex optimization problem. It is often challenging to solve
such a problem numerically due to its non-convexity and having a large number
of layers. To address this challenge, inspired by the human education system,
the multi-grade deep learning (MGDL) model was recently initiated by the author
of this paper. The MGDL model learns a DNN in several grades, in each of which
one constructs a shallow DNN consisting of a relatively small number of layers.
The MGDL model still requires solving several non-convex optimization problems.
The proposed SAL model mutates from the MGDL model. Noting that each layer of a
DNN consists of an affine map followed by an activation function, we propose to
learn the affine map by solving a quadratic/convex optimization problem which
involves the activation function only {\it after} the weight matrix and the
bias vector for the current layer have been trained. In the context of function
approximation, for a given function the SAL model generates an expansion of the
function with adaptive basis functions in the form of DNNs. We establish the
Pythagorean identity and the Parseval identity for the system generated by the
SAL model. Moreover, we provide a convergence theorem of the SAL process in the
sense that either it terminates after a finite number of grades or the norms of
its optimal error functions strictly decrease to a limit as the grade number
increases to infinity. Furthermore, we present numerical examples of proof of
concept which demonstrate that the proposed SAL model significantly outperforms
the traditional deep learning model.
- Abstract（参考訳）: 本稿では,深層ニューラルネットワーク構築のための逐次アフィン学習(SAL)モデルを提案する。
伝統的に、DNNは非凸最適化問題の解決によって構築される。
このような問題を非凸性や多数の層を持つため数値的に解くことはしばしば困難である。
本論文の著者らにより,人間教育システムに触発されたこの課題に対処するため,近年,多段階深層学習(MGDL)モデルが始められた。
MGDLモデルはいくつかのグレードでDNNを学習し、それぞれが比較的少数の層からなる浅いDNNを構築する。
MGDLモデルは、まだいくつかの非凸最適化問題を解く必要がある。
提案したSALモデルはMGDLモデルから変異する。
DNNの各層がアフィン写像とアクティベーション関数から構成されていることに注意し、活性化関数を重み行列と現在の層のバイアスベクトルのみを含む二次凸最適化問題を解くことでアフィン写像を学習することを提案する。
関数近似の文脈では、与えられた関数に対して、SALモデルはDNNの形式で適応基底関数を持つ関数の拡張を生成する。
SALモデルにより生成されたシステムに対して,ピタゴラスのアイデンティティとParsevalのアイデンティティを確立する。
さらに、SAL過程の収束定理は、有限個のグレードの後に終了するか、その最適誤差関数のノルムが、階数数が無限大に増加するにつれて、極限まで厳密に減少することを意味する。
さらに,提案したSALモデルが従来のディープラーニングモデルよりも優れていることを示す概念実証の数値例を示す。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - A model for multi-attack classification to improve intrusion detection
performance using deep learning approaches [0.0]
ここでの目的は、悪意のある攻撃を識別するための信頼性の高い侵入検知メカニズムを作ることである。
ディープラーニングベースのソリューションフレームワークは、3つのアプローチから成り立っている。
最初のアプローチは、adamax、SGD、adagrad、adam、RMSprop、nadam、adadeltaといった7つの機能を持つLong-Short Term Memory Recurrent Neural Network (LSTM-RNN)である。
モデルは特徴を自己学習し、攻撃クラスをマルチアタック分類として分類する。
論文 参考訳（メタデータ） (2023-10-25T05:38:44Z) - A Deep Dive into the Connections Between the Renormalization Group and
Deep Learning in the Ising Model [0.0]
再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。
本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。
2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
論文 参考訳（メタデータ） (2023-08-21T22:50:54Z) - Multilevel Bayesian Deep Neural Networks [0.5892638927736115]
我々は、ディープニューラルネットワーク(DNN)、特にトレースクラスニューラルネットワーク(TNN)に関連付けられた推論について検討する。
TNN事前は無限個の隠れ単位を持つ関数上で定義され、有限個の隠れ単位を持つ強い収束近似を持つ。
本稿では,TNNの強い収束を利用して,これらのモデルにマルチレベルモンテカルロ(MLMC)を適用する。
論文 参考訳（メタデータ） (2022-03-24T09:49:27Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Self-interpretable Convolutional Neural Networks for Text Classification [5.55878488884108]
本論文では,ReLU-DNNに固有の局所線型モデルを用いて,テキスト分類問題に対する畳み込みニューラルネットワークの解釈手法を提案する。
提案手法は,より複雑なCNNモデルに対して,自己解釈可能で,同等の性能を有する擬似モデルを生成する。
論文 参考訳（メタデータ） (2021-05-18T15:19:59Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Causality-aware counterfactual confounding adjustment for feature
representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。
深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文 参考訳（メタデータ） (2020-04-20T17:37:36Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。