論文の概要: Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation
- arxiv url: http://arxiv.org/abs/2111.08577v1
- Date: Tue, 16 Nov 2021 15:55:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 14:54:35.677894
- Title: Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation
- Title(参考訳): Kronecker Factored Curvature Approximation を用いたより一般化したディープニューラルネットワークのニューロンプルーニング
- Authors: Abdolghani Ebrahimi, Diego Klabjan
- Abstract要約: 提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
- 参考スコア(独自算出の注目度): 18.224344440110862
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods of pruning deep neural networks focus on removing
unnecessary parameters of the trained network and fine tuning the model
afterwards to find a good solution that recovers the initial performance of the
trained model. Unlike other works, our method pays special attention to the
quality of the solution in the compressed model and inference computation time
by pruning neurons. The proposed algorithm directs the parameters of the
compressed model toward a flatter solution by exploring the spectral radius of
Hessian which results in better generalization on unseen data. Moreover, the
method does not work with a pre-trained network and performs training and
pruning simultaneously. Our result shows that it improves the state-of-the-art
results on neuron compression. The method is able to achieve very small
networks with small accuracy degradation across different neural network
models.
- Abstract(参考訳): 既存のディープニューラルネットワークのプルーニング方法は、トレーニングされたネットワークの不要なパラメータを取り除き、その後モデルを微調整することで、トレーニングされたモデルの初期のパフォーマンスを回復する優れたソリューションを見つけることに焦点を当てている。
他の研究と異なり、本手法は、圧縮されたモデルにおける解の質とニューロンのプルーニングによる推論計算時間に特に注意を払っている。
提案手法は, 圧縮モデルのパラメータをより平坦な解へ向けて, ヘッセンのスペクトル半径を探索することで, 未知データに対するより良い一般化を実現する。
さらに,本手法は事前学習ネットワークでは動作せず,同時にトレーニングとプルーニングを行う。
その結果,ニューロンの圧縮に関する最先端の結果が向上した。
この方法は、異なるニューラルネットワークモデル間の精度の低下を小さくして、非常に小さなネットワークを実現することができる。
関連論文リスト
- Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。
本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
論文 参考訳(メタデータ) (2023-11-17T11:48:10Z) - Guaranteed Quantization Error Computation for Neural Network Model
Compression [2.610470075814367]
ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。
統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
論文 参考訳(メタデータ) (2023-04-26T20:21:54Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Neural Clamping: Joint Input Perturbation and Temperature Scaling for
Neural Network Calibration [74.43215520371506]
我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。
実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-23T14:18:39Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳(メタデータ) (2021-12-13T20:50:54Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳(メタデータ) (2020-07-15T06:05:37Z) - RicciNets: Curvature-guided Pruning of High-performance Neural Networks
Using Ricci Flow [0.0]
計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。
1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
論文 参考訳(メタデータ) (2020-07-08T15:56:02Z) - Compressive sensing with un-trained neural networks: Gradient descent
finds the smoothest approximation [60.80172153614544]
訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。
トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
論文 参考訳(メタデータ) (2020-05-07T15:57:25Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。