論文の概要: Enhancing Accuracy in Deep Learning Using Random Matrix Theory
- arxiv url: http://arxiv.org/abs/2310.03165v2
- Date: Sun, 24 Dec 2023 23:58:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-28 01:35:50.216756
- Title: Enhancing Accuracy in Deep Learning Using Random Matrix Theory
- Title（参考訳）: ランダム行列理論を用いたディープラーニングの精度向上
- Authors: Leonid Berlyand, Etienne Sandier, Yitzchak Shmalo, Lei Zhang
- Abstract要約: 深層ニューラルネットワーク(DNN)のトレーニングにおけるランダム行列理論(RMT)の適用について検討する。
数値計算の結果,DNNとCNNの精度は低下せず,パラメータの大幅な削減につながることが明らかとなった。
この結果から,より効率的かつ正確なディープラーニングモデル構築のためのRTTの実践的応用に関する貴重な知見が得られた。
- 参考スコア（独自算出の注目度）: 4.245583098490961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We explore the applications of random matrix theory (RMT) in the training of
deep neural networks (DNNs), focusing on layer pruning that is reducing the
number of DNN parameters (weights). Our numerical results show that this
pruning leads to a drastic reduction of parameters while not reducing the
accuracy of DNNs and CNNs. Moreover, pruning the fully connected DNNs actually
increases the accuracy and decreases the variance for random initializations.
Our numerics indicate that this enhancement in accuracy is due to the
simplification of the loss landscape. We next provide rigorous mathematical
underpinning of these numerical results by proving the RMT-based Pruning
Theorem. Our results offer valuable insights into the practical application of
RMT for the creation of more efficient and accurate deep-learning models.
- Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングにおけるランダム行列理論(RMT)の適用について検討し,DNNパラメータ(重み)の低減に寄与する層プルーニングに着目した。
数値計算の結果,DNNとCNNの精度は低下せず,パラメータの大幅な削減につながることが明らかとなった。
さらに,完全連結DNNのプルーニングにより精度が向上し,ランダム初期化のばらつきが低減される。
我々の数値は、この精度の向上は損失景観の単純化によるものであることを示している。
次に、RTTに基づくPruning Theoremを証明し、これらの数値結果の厳密な数学的基盤を提供する。
本研究は,より効率的で正確なディープラーニングモデルを作成するためのrmtの実践的応用に関する貴重な知見を提供する。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Deep Learning Weight Pruning with RMT-SVD: Increasing Accuracy and
Reducing Overfitting [0.0]
ディープニューラルネットワーク(DNN)の重み層のスペクトルをランダム行列理論(RMT)の手法を用いて研究・理解することができる。
本研究では,これらのRTT手法を用いて, DNNの重み付け層から, 特異値分解(SVD)を通して, どれ程の特異値を取り除くべきかを判断する。
MNISTで訓練した単純なDNNモデルについて,その結果を示す。
論文 参考訳（メタデータ） (2023-03-15T23:19:45Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Spectral Pruning for Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。
本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
論文 参考訳（メタデータ） (2021-05-23T00:30:59Z) - Advantage of Deep Neural Networks for Estimating Functions with
Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。
本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文 参考訳（メタデータ） (2020-11-04T12:51:14Z) - Network Moments: Extensions and Sparse-Smooth Attacks [59.24080620535988]
ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメントの正確な解析式を導出する。
本研究では,新しい分散式を効率的に近似し,より厳密な分散推定を行うことを示す。
論文 参考訳（メタデータ） (2020-06-21T11:36:41Z) - Interval Neural Networks: Uncertainty Scores [11.74565957328407]
我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。
このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。
画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
論文 参考訳（メタデータ） (2020-03-25T18:03:51Z) - Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted
$\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization
Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。
我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。
移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-03-18T17:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。