Fugu-MT 論文翻訳(概要): Concentration inequalities and optimal number of layers for stochastic deep neural networks

論文の概要: Concentration inequalities and optimal number of layers for stochastic deep neural networks

arxiv url: http://arxiv.org/abs/2206.11241v1
Date: Wed, 22 Jun 2022 17:42:24 GMT
ステータス: 処理完了
システム内更新日: 2022-06-23 15:25:29.729475
Title: Concentration inequalities and optimal number of layers for stochastic deep neural networks
Title（参考訳）: 確率的深層ニューラルネットワークにおける濃度不等式と最適層数
Authors: Michele Caprio and Sayan Mukherjee
Abstract要約: 深層ニューラルネットワーク(SDNN)の隠れ層出力における状態濃度とマーチンゲール不等式また, SDNN の最適レイヤ数を最適停止手順により記述する。
参考スコア（独自算出の注目度）: 1.332560004325655
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We state concentration and martingale inequalities for the output of the hidden layers of a stochastic deep neural network (SDNN), as well as for the output of the whole SDNN. These results allow us to introduce an expected classifier (EC), and to give probabilistic upper bound for the classification error of the EC. We also state the optimal number of layers for the SDNN via an optimal stopping procedure. We apply our analysis to a stochastic version of a feedforward neural network with ReLU activation function.
Abstract（参考訳）: 我々は,確率的ディープニューラルネットワーク(SDNN)の隠れ層の出力とSDNN全体の出力に対して,濃度とマーチンゲール不等式を述べる。これらの結果から、予測分類器(EC)を導入し、ECの分類誤差に対する確率的上限を与えることができる。また, SDNN の最適レイヤ数を最適停止手順により記述する。 reluアクティベーション関数を持つfeedforwardニューラルネットワークの確率的バージョンに対して,本解析を適用した。

関連論文リスト

Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文参考訳（メタデータ） (2024-08-08T16:48:33Z)
Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。 RNNの各層が入力分布を変換して検出精度を高める方法を示す。同時に、精度の向上を制限するために作用する副作用も発見する。
論文参考訳（メタデータ） (2024-04-17T12:22:54Z)
Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文参考訳（メタデータ） (2023-10-02T03:25:32Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
論文参考訳（メタデータ） (2021-05-29T15:28:30Z)
Neuron Coverage-Guided Domain Generalization [37.77033512313927]
本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
論文参考訳（メタデータ） (2021-02-27T14:26:53Z)
Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文参考訳（メタデータ） (2020-08-25T15:48:15Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。