論文の概要: Compression Repair for Feedforward Neural Networks Based on Model Equivalence Evaluation

• arxiv url: http://arxiv.org/abs/2402.11737v1
• Date: Sun, 18 Feb 2024 23:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 19:05:56.518606
• Title: Compression Repair for Feedforward Neural Networks Based on Model Equivalence Evaluation
• Title（参考訳）: モデル等価性評価に基づくフィードフォワードニューラルネットワークの圧縮修復
• Authors: Zihao Mo, Yejiang Yang, Shuaizheng Lu, and Weiming Xiang
• Abstract要約: 本稿では,2つのニューラルネットワークの等価性評価に基づいて,圧縮フィードフォワードニューラルネットワーク(FNN)の修復手法を提案する。 提案手法の有効性と利点を示すため,本手法をMNISTデータセットに適用した。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a method of repairing compressed Feedforward Neural Networks (FNNs) based on equivalence evaluation of two neural networks. In the repairing framework, a novel neural network equivalence evaluation method is developed to compute the output discrepancy between two neural networks. The output discrepancy can quantitatively characterize the output difference produced by compression procedures. Based on the computed output discrepancy, the repairing method first initializes a new training set for the compressed networks to narrow down the discrepancy between the two neural networks and improve the performance of the compressed network. Then, we repair the compressed FNN by re-training based on the training set. We apply our developed method to the MNIST dataset to demonstrate the effectiveness and advantages of our proposed repair method.
• Abstract（参考訳）: 本稿では,2つのニューラルネットワークの等価性評価に基づいて,圧縮フィードフォワードニューラルネットワーク(FNN)の修復手法を提案する。 修復フレームワークにおいて、2つのニューラルネットワーク間の出力差を計算するために、新しいニューラルネットワーク等価性評価法を開発した。 出力不一致は、圧縮手順によって生じる出力差を定量的に特徴付けることができる。 この計算出力不一致に基づいて、まず、圧縮ネットワークのための新しいトレーニングセットを初期化し、2つのニューラルネットワーク間の不一致を狭め、圧縮ネットワークの性能を向上させる。 そして, トレーニングセットに基づいて再訓練を行い, 圧縮FNNを修復する。 提案手法の有効性と利点を示すため,本手法をMNISTデータセットに適用した。

関連論文リスト

• SEF: A Method for Computing Prediction Intervals by Shifting the Error Function in Neural Networks [0.0]
  本稿では,このカテゴリに属する新しい手法としてSEF(Shifting the Error Function)法を提案する。 提案手法では,1つのニューラルネットワークを3回トレーニングすることで,与えられた問題に対して対応する上境界と下限とを推定する。 この革新的なプロセスは、PIを効果的に生成し、不確実性定量化のための堅牢で効率的な技術をもたらす。
  論文  参考訳（メタデータ） (2024-09-08T19:46:45Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
  本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。 本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T11:48:10Z)
• Guaranteed Quantization Error Computation for Neural Network Model Compression [2.610470075814367]
  ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。 統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
  論文  参考訳（メタデータ） (2023-04-26T20:21:54Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Feature Alignment for Approximated Reversibility in Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける近似可逆性を得る手法である特徴アライメントを導入する。 ニューラルネットワークをローカルにトレーニングし、計算メモリリソースを節約するために、このテクニックを修正できることが示される。
  論文  参考訳（メタデータ） (2021-06-23T17:42:47Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。