論文の概要: Guaranteed Quantization Error Computation for Neural Network Model
Compression
- arxiv url: http://arxiv.org/abs/2304.13812v1
- Date: Wed, 26 Apr 2023 20:21:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 15:12:15.374267
- Title: Guaranteed Quantization Error Computation for Neural Network Model
Compression
- Title(参考訳): ニューラルネットワークモデル圧縮のための保証量子化誤差計算
- Authors: Wesley Cooke, Zihao Mo, Weiming Xiang
- Abstract要約: ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。
統合されたニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化されたバージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
- 参考スコア(独自算出の注目度): 2.610470075814367
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network model compression techniques can address the computation issue
of deep neural networks on embedded devices in industrial systems. The
guaranteed output error computation problem for neural network compression with
quantization is addressed in this paper. A merged neural network is built from
a feedforward neural network and its quantized version to produce the exact
output difference between two neural networks. Then, optimization-based methods
and reachability analysis methods are applied to the merged neural network to
compute the guaranteed quantization error. Finally, a numerical example is
proposed to validate the applicability and effectiveness of the proposed
approach.
- Abstract(参考訳): ニューラルネットワークモデル圧縮技術は、産業システムの組み込みデバイス上でのディープニューラルネットワークの計算問題に対処することができる。
本稿では,量子化によるニューラルネットワーク圧縮における出力誤差計算の問題に対処する。
融合ニューラルネットワークは、フィードフォワードニューラルネットワークとその量子化バージョンから構築され、2つのニューラルネットワーク間の正確な出力差を生成する。
次に、最適化に基づく手法と到達可能性解析手法を統合ニューラルネットワークに適用し、保証量子化誤差を計算する。
最後に,提案手法の適用可能性と有効性を検証する数値例を提案する。
関連論文リスト
- Using Cooperative Game Theory to Prune Neural Networks [7.3959659158152355]
本稿では,協調ゲーム理論の解の概念を用いて,ニューラルネットワークの刈り取り問題に対処する方法について述べる。
本稿では,GTAP(Game Theory Assisted Pruning)と呼ばれる,予測精度を維持しつつ,ニューラルネットワークのサイズを小さくする手法を提案する。
論文 参考訳(メタデータ) (2023-11-17T11:48:10Z) - Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。
我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文 参考訳(メタデータ) (2022-10-14T19:31:39Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Approximate Bisimulation Relations for Neural Networks and Application
to Assured Neural Network Compression [3.0839245814393728]
本稿では,フィードフォワードニューラルネットワークに対する近似バイシミュレーション関係の概念を提案する。
2つのニューラルネットワーク間の近似バイシミュレーション誤差を計算するために,新しいニューラルネットワークマージ法を開発した。
論文 参考訳(メタデータ) (2022-02-02T16:21:19Z) - An Overview of Uncertainty Quantification Methods for Infinite Neural
Networks [0.0]
無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。
我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
論文 参考訳(メタデータ) (2022-01-13T00:03:22Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - Neuron-based Pruning of Deep Neural Networks with Better Generalization
using Kronecker Factored Curvature Approximation [18.224344440110862]
提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。
以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。
この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
論文 参考訳(メタデータ) (2021-11-16T15:55:59Z) - Neural Network Solutions to Differential Equations in Non-Convex
Domains: Solving the Electric Field in the Slit-Well Microfluidic Device [1.7188280334580193]
スリットウェルマイクロ流体装置における電位と対応する電場を近似するためにニューラルネットワーク法を用いる。
ディープ・ニューラル・ネットワークは 浅いニューラル・ネットワークをはるかに上回っています
論文 参考訳(メタデータ) (2020-04-25T21:20:03Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳(メタデータ) (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。