論文の概要: Spectral Pruning for Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2105.10832v1
- Date: Sun, 23 May 2021 00:30:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 15:28:42.477483
- Title: Spectral Pruning for Recurrent Neural Networks
- Title(参考訳): リカレントニューラルネットワークのためのスペクトルプルーニング
- Authors: Takashi Furuya, Kazuma Suetake, Koichi Taniguchi, Hiroyuki Kusumoto,
Ryuji Saiin, Tomohiro Daimon
- Abstract要約: リカレントニューラルネットワーク(RNN)のような、リカレントアーキテクチャを備えたニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。
本稿では、「スペクトルプルーニング」にインスパイアされたRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning techniques for neural networks with a recurrent architecture, such as
the recurrent neural network (RNN), are strongly desired for their application
to edge-computing devices. However, the recurrent architecture is generally not
robust to pruning because even small pruning causes accumulation error and the
total error increases significantly over time. In this paper, we propose an
appropriate pruning algorithm for RNNs inspired by "spectral pruning", and
provide the generalization error bounds for compressed RNNs. We also provide
numerical experiments to demonstrate our theoretical results and show the
effectiveness of our pruning method compared with existing methods.
- Abstract(参考訳): リカレントニューラルネットワーク(recurrent neural network, rnn)などのリカレントアーキテクチャを持つニューラルネットワークのプルーニング技術は、エッジコンピューティングデバイスへの応用に強く望まれている。
しかし、再帰的なアーキテクチャは、小さなプルーニングでさえ蓄積エラーを引き起こし、全体のエラーが時間とともに大幅に増加するため、一般的にプルーニングに対して堅牢ではない。
本稿では、「スペクトルプルーニング」に着想を得たRNNに対する適切なプルーニングアルゴリズムを提案し、圧縮されたRNNに対する一般化誤差境界を提供する。
また, 実験結果を示す数値実験を行い, 従来の方法と比較し, プルーニング法の有効性を示す。
関連論文リスト
- Investigating Sparsity in Recurrent Neural Networks [0.0]
本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。
まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。
次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
論文 参考訳(メタデータ) (2024-07-30T07:24:58Z) - Enhancing Accuracy in Deep Learning Using Random Matrix Theory [4.00671924018776]
深層ニューラルネットワーク(DNN)のトレーニングにおけるランダム行列理論(RMT)の適用について検討する。
数値計算の結果,DNNとCNNの精度は低下せず,パラメータの大幅な削減につながることが明らかとなった。
この結果から,より効率的かつ正確なディープラーニングモデル構築のためのRTTの実践的応用に関する貴重な知見が得られた。
論文 参考訳(メタデータ) (2023-10-04T21:17:31Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - Reliable and Fast Recurrent Neural Network Architecture Optimization [7.287830861862003]
本稿では、リカレントニューラルネットワークアーキテクチャを最適化する新しい自動手法であるRandom Error Smpling-based Neuroevolution(RESN)を紹介する。
その結果,RESNは計算時間を半分減らしながら,最先端のエラー性能を実現することがわかった。
論文 参考訳(メタデータ) (2021-06-29T12:16:19Z) - UnICORNN: A recurrent model for learning very long time dependencies [0.0]
2次常微分方程式のハミルトン系の離散性を保つ構造に基づく新しいRNNアーキテクチャを提案する。
結果として得られるrnnは高速で可逆(時間)で、メモリ効率が良く、隠れた状態勾配の厳密な境界を導出して、爆発と消滅の勾配問題の緩和を証明する。
論文 参考訳(メタデータ) (2021-03-09T15:19:59Z) - Robust Pruning at Initialization [61.30574156442608]
計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。
ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
論文 参考訳(メタデータ) (2020-02-19T17:09:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。