論文の概要: A Kernel-Expanded Stochastic Neural Network
- arxiv url: http://arxiv.org/abs/2201.05319v1
- Date: Fri, 14 Jan 2022 06:42:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-17 14:13:27.910043
- Title: A Kernel-Expanded Stochastic Neural Network
- Title（参考訳）: カーネル拡張確率ニューラルネットワーク
- Authors: Yan Sun, Faming Liang
- Abstract要約: ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。
新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。
モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
- 参考スコア（独自算出の注目度）: 10.837308632004644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deep neural network suffers from many fundamental issues in machine
learning. For example, it often gets trapped into a local minimum in training,
and its prediction uncertainty is hard to be assessed. To address these issues,
we propose the so-called kernel-expanded stochastic neural network (K-StoNet)
model, which incorporates support vector regression (SVR) as the first hidden
layer and reformulates the neural network as a latent variable model. The
former maps the input vector into an infinite dimensional feature space via a
radial basis function (RBF) kernel, ensuring absence of local minima on its
training loss surface. The latter breaks the high-dimensional nonconvex neural
network training problem into a series of low-dimensional convex optimization
problems, and enables its prediction uncertainty easily assessed. The K-StoNet
can be easily trained using the imputation-regularized optimization (IRO)
algorithm. Compared to traditional deep neural networks, K-StoNet possesses a
theoretical guarantee to asymptotically converge to the global optimum and
enables the prediction uncertainty easily assessed. The performances of the new
model in training, prediction and uncertainty quantification are illustrated by
simulated and real data examples.
- Abstract（参考訳）: ディープニューラルネットワークは、機械学習において多くの根本的な問題に苦しむ。
例えば、トレーニング中にローカルな最小値に閉じ込められることが多く、その予測の不確実性を評価するのは難しい。
これらの問題に対処するために、サポートベクター回帰(SVR)を第1の隠蔽層として組み込んだカーネル拡張確率ニューラルネットワーク(K-StoNet)モデルを提案し、ニューラルネットワークを潜在変数モデルとして再構成する。
前者は入力ベクトルを放射基底関数(RBF)カーネルを介して無限次元の特徴空間にマッピングし、そのトレーニング損失面に局所最小値がないことを保証する。
後者は、高次元非凸ニューラルネットワークトレーニング問題を一連の低次元凸最適化問題に分解し、その予測の不確かさを容易に評価する。
K-StoNetは命令正規化最適化(IRO)アルゴリズムを使って容易に訓練できる。
従来のディープニューラルネットワークと比較して、K-StoNetは漸近的にグローバル最適に収束する理論的な保証を持ち、予測の不確実性を容易に評価できる。
トレーニング,予測,不確実性定量化における新しいモデルの性能は,シミュレーションおよび実データ例によって示される。
関連論文リスト
- SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
エントロピー誤差関数はニューラルネットワークで広く使われている。
本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。
ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
論文 参考訳（メタデータ） (2024-05-28T19:54:26Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。
この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文 参考訳（メタデータ） (2024-04-29T23:38:58Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Reduced-Order Neural Network Synthesis with Robustness Guarantees [0.0]
機械学習アルゴリズムは、デバイスがユーザのプライバシを改善し、レイテンシを低減し、エネルギー効率を高めるために、ローカルで実行するように適応されている。
この問題に対処するために、より大きなニューロンの入出力マッピングを近似する低次ニューラルネットワーク(ニューロンが少ない)を自動的に合成する手法を導入する。
この近似誤差に対する最悪の境界が得られ、このアプローチは幅広いニューラルネットワークアーキテクチャに適用することができる。
論文 参考訳（メタデータ） (2021-02-18T12:03:57Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。