論文の概要: Enhancing Accuracy in Deep Learning Using Random Matrix Theory
- arxiv url: http://arxiv.org/abs/2310.03165v1
- Date: Wed, 4 Oct 2023 21:17:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 20:23:02.063772
- Title: Enhancing Accuracy in Deep Learning Using Random Matrix Theory
- Title（参考訳）: ランダム行列理論を用いたディープラーニングの精度向上
- Authors: Leonid Berlyand, Etienne Sandier, Yitzchak Shmalo, Lei Zhang
- Abstract要約: 本研究では、ディープニューラルネットワーク(DNN)のトレーニングにおけるランダム行列理論(RMT)の適用について検討する。
これらの手法を用いて、トレーニング中にDNNの重み付け層から除去される特異値の数を最適に決定する。
この結果から,より効率的かつ正確なディープラーニングモデル構築のためのRTTの実践的応用に関する貴重な知見が得られた。
- 参考スコア（独自算出の注目度）: 4.245583098490961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we explore the applications of random matrix theory (RMT) in
the training of deep neural networks (DNNs), focusing on layer pruning to
simplify DNN architecture and loss landscape. RMT, recently used to address
overfitting in deep learning, enables the examination of DNN's weight layer
spectra. We use these techniques to optimally determine the number of singular
values to be removed from the weight layers of a DNN during training via
singular value decomposition (SVD). This process aids in DNN simplification and
accuracy enhancement, as evidenced by training simple DNN models on the MNIST
and Fashion MNIST datasets.
Our method can be applied to any fully connected or convolutional layer of a
pretrained DNN, decreasing the layer's parameters and simplifying the DNN
architecture while preserving or even enhancing the model's accuracy. By
discarding small singular values based on RMT criteria, the accuracy of the
test set remains consistent, facilitating more efficient DNN training without
compromising performance.
We provide both theoretical and empirical evidence supporting our claim that
the elimination of small singular values based on RMT does not negatively
impact the DNN's accuracy. Our results offer valuable insights into the
practical application of RMT for the creation of more efficient and accurate
deep-learning models.
- Abstract（参考訳）: 本研究では,深層ニューラルネットワーク(DNN)の学習におけるランダム行列理論(RMT)の適用について検討し,DNNアーキテクチャと損失景観の簡易化を目的としたレイヤプルーニングに着目した。
RMTは、最近、ディープラーニングにおける過剰適合に対処するために使われ、DNNの重み付け層スペクトルを調べることができる。
これらの手法を用いて、特異値分解(SVD)によるトレーニング中にDNNの重み付け層から除去される特異値の数を最適に決定する。
このプロセスは、MNISTとFashion MNISTデータセット上で単純なDNNモデルをトレーニングすることで、DNNの単純化と精度の向上を支援する。
提案手法は,事前学習したDNNの任意の完全連結層や畳み込み層に適用可能であり,モデルの精度を保ちつつ,DNNアーキテクチャを簡素化することができる。
RMT基準に基づいて小さな特異値を捨てることによって、テストセットの精度は一貫しており、性能を損なうことなく、より効率的なDNNトレーニングを容易にする。
RMTに基づく小さな特異値の除去がDNNの精度に悪影響を及ぼさないという主張を支持する理論的証拠と実証的証拠の両方を提供する。
本研究は,より効率的で正確なディープラーニングモデルを作成するためのrmtの実践的応用に関する貴重な知見を提供する。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳（メタデータ） (2023-09-26T17:42:52Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Deep Learning Weight Pruning with RMT-SVD: Increasing Accuracy and
Reducing Overfitting [0.0]
ディープニューラルネットワーク(DNN)の重み層のスペクトルをランダム行列理論(RMT)の手法を用いて研究・理解することができる。
本研究では,これらのRTT手法を用いて, DNNの重み付け層から, 特異値分解(SVD)を通して, どれ程の特異値を取り除くべきかを判断する。
MNISTで訓練した単純なDNNモデルについて,その結果を示す。
論文 参考訳（メタデータ） (2023-03-15T23:19:45Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Spectral Pruning for Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。
本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
論文 参考訳（メタデータ） (2021-05-23T00:30:59Z) - Advantage of Deep Neural Networks for Estimating Functions with
Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。
本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文 参考訳（メタデータ） (2020-11-04T12:51:14Z) - Interval Neural Networks: Uncertainty Scores [11.74565957328407]
我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。
このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。
画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
論文 参考訳（メタデータ） (2020-03-25T18:03:51Z) - Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted
$\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization
Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。
我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。
移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-03-18T17:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。