論文の概要: Householder-Absolute Neural Layers For High Variability and Deep
Trainability
- arxiv url: http://arxiv.org/abs/2106.04088v1
- Date: Tue, 8 Jun 2021 04:05:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-09 15:48:10.646991
- Title: Householder-Absolute Neural Layers For High Variability and Deep
Trainability
- Title(参考訳): 高い変動性と深い訓練性を有する家庭内結合型神経層
- Authors: Yueyao Yu and Yin Zhang
- Abstract要約: 世帯の絶対的な神経層、すなわちハン層は、活性化率を高め、定数への崩壊の可能性を減少させるように設計されている。
主にハン層から構築されたニューラルネットワークはHanNetsと呼ばれる。
- 参考スコア(独自算出の注目度): 2.5839879539661763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new architecture for artificial neural networks called
Householder-absolute neural layers, or Han-layers for short, that use
Householder reflectors as weight matrices and the absolute-value function for
activation. Han-layers, functioning as fully connected layers, are motivated by
recent results on neural-network variability and are designed to increase
activation ratio and reduce the chance of Collapse to Constants. Neural
networks constructed chiefly from Han-layers are called HanNets. By
construction, HanNets enjoy a theoretical guarantee that vanishing or exploding
gradient never occurs. We conduct several proof-of-concept experiments. Some
surprising results obtained on styled test problems suggest that, under certain
conditions, HanNets exhibit an unusual ability to produce nearly perfect
solutions unattainable by fully connected networks. Experiments on regression
datasets show that HanNets can significantly reduce the number of model
parameters while maintaining or improving the level of generalization accuracy.
In addition, by adding a few Han-layers into the pre-classification FC-layer of
a convolutional neural network, we are able to quickly improve a
state-of-the-art result on CIFAR10 dataset. These proof-of-concept results are
sufficient to necessitate further studies on HanNets to understand their
capacities and limits, and to exploit their potentials in real-world
applications.
- Abstract(参考訳): そこで,本論文では,主観反射板を重み行列とし,絶対値関数をアクティベーションとして用いる,ハウスマー・絶対値神経層(han-layers)と呼ばれるニューラルネットワークのための新しいアーキテクチャを提案する。
完全連結層として機能するハン層は、ニューラルネットワークの変動性に関する最近の結果に動機付けられ、活性化比を増加させ、定数に崩壊する可能性を減らすように設計されている。
主にハン層から構築されたニューラルネットワークはHanNetsと呼ばれる。
建設によって、HanNetsは消滅または爆発する勾配が決して起こらないという理論的保証を享受する。
我々はいくつかの概念実証実験を行う。
スタイル付きテスト問題で得られた驚くべき結果は、一定の条件下では、完全に接続されたネットワークで達成不可能なほぼ完璧なソリューションを生成できる特異な能力を示すことを示唆している。
回帰データセットの実験は、HanNetsが一般化精度のレベルを維持したり改善したりしながら、モデルパラメータの数を著しく削減できることを示している。
さらに、畳み込みニューラルネットワークの事前分類fc層にいくつかのハン層を追加することで、cifar10データセットの最先端結果を迅速に改善することができる。
これらの概念実証の結果は、ハンネットの能力と限界を理解するためにさらなる研究を必要とし、現実の応用においてその可能性を利用するのに十分である。
関連論文リスト
- Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳(メタデータ) (2023-11-01T16:37:00Z) - MuseGNN: Interpretable and Convergent Graph Neural Network Layers at
Scale [15.93424606182961]
本稿では, ある設定における収束保証によって導かれる, サンプリングベースエネルギー関数と拡張性のあるGNN層を反復的に削減する手法を提案する。
また、これらの設計に基づいて完全なGNNアーキテクチャをインスタンス化し、1TBを超える最大公用ノード分類ベンチマークに適用した場合の競合精度とスケーラビリティを実現する。
論文 参考訳(メタデータ) (2023-10-19T04:30:14Z) - Generalization Guarantees of Gradient Descent for Multi-Layer Neural
Networks [55.86300309474023]
多層NNに対する勾配降下(GD)の総合的安定性と一般化解析を行う。
2層NNと3層NNの両方において、GDアルゴリズムに対するO(1/sqrtn)$の過剰リスク率を導出する。
論文 参考訳(メタデータ) (2023-05-26T12:51:38Z) - Linear Neural Network Layers Promote Learning Single- and Multiple-Index
Models [9.984696742463628]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワーク群を考察する。
この結果から,ReLUネットワークに線形層を追加することで,低ランク線形演算子で近似可能な関数を求める表現コストが得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。
我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。
本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
論文 参考訳(メタデータ) (2023-01-03T20:57:22Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳(メタデータ) (2022-12-05T14:47:52Z) - Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。
CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
論文 参考訳(メタデータ) (2021-10-25T07:12:53Z) - A New Framework for Variance-Reduced Hamiltonian Monte Carlo [88.84622104944503]
分散還元型ハミルトン・モンテカルロ法 (HMC) の新たなフレームワークを提案し,$L$-smooth および $m$-strongly log-concave 分布からサンプリングする。
本研究では,SAGA法やSVRG法をベースとした非バイアス勾配推定器を用いて,バッチサイズを小さくすることで,高い勾配効率が得られることを示す。
総合的および実世界のベンチマークデータによる実験結果から、我々の新しいフレームワークは、完全な勾配と勾配HMCアプローチを著しく上回っていることが示された。
論文 参考訳(メタデータ) (2021-02-09T02:44:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。