Fugu-MT 論文翻訳(概要): Neural Networks with (Low-Precision) Polynomial Approximations: New Insights and Techniques for Accuracy Improvement

論文の概要: Neural Networks with (Low-Precision) Polynomial Approximations: New Insights and Techniques for Accuracy Improvement

arxiv url: http://arxiv.org/abs/2402.11224v2
Date: Fri, 7 Jun 2024 10:34:32 GMT
ステータス: 処理完了
システム内更新日: 2024-06-10 19:57:35.470950
Title: Neural Networks with (Low-Precision) Polynomial Approximations: New Insights and Techniques for Accuracy Improvement
Title（参考訳）: 低精度)多項式近似を用いたニューラルネットワーク : 精度向上のための新しい洞察と技術
Authors: Chi Zhang, Jingjing Fan, Man Ho Au, Siu Ming Yiu,
Abstract要約: 非ポリノミカル関数を近似に置き換えることは、プライバシ保護機械学習の標準的なプラクティスである。ニューラルネットワーク(PANN)の近似と呼ばれる結果のニューラルネットワークは、高度な暗号システムと互換性がある。 PANNにおける近似誤差の効果について説明する。 PANNの推測精度を向上させるための手法を提案する。
参考スコア（独自算出の注目度）: 13.406378419824003
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Replacing non-polynomial functions (e.g., non-linear activation functions such as ReLU) in a neural network with their polynomial approximations is a standard practice in privacy-preserving machine learning. The resulting neural network, called polynomial approximation of neural network (PANN) in this paper, is compatible with advanced cryptosystems to enable privacy-preserving model inference. Using ``highly precise'' approximation, state-of-the-art PANN offers similar inference accuracy as the underlying backbone model. However, little is known about the effect of approximation, and existing literature often determined the required approximation precision empirically. In this paper, we initiate the investigation of PANN as a standalone object. Specifically, our contribution is two-fold. Firstly, we provide an explanation on the effect of approximate error in PANN. In particular, we discovered that (1) PANN is susceptible to some type of perturbations; and (2) weight regularisation significantly reduces PANN's accuracy. We support our explanation with experiments. Secondly, based on the insights from our investigations, we propose solutions to increase inference accuracy for PANN. Experiments showed that combination of our solutions is very effective: at the same precision, our PANN is 10% to 50% more accurate than state-of-the-arts; and at the same accuracy, our PANN only requires a precision of 2^{-9} while state-of-the-art solution requires a precision of 2^{-12} using the ResNet-20 model on CIFAR-10 dataset.
Abstract（参考訳）: 多項式近似によるニューラルネットワークにおける非多項式関数(例えば、ReLUのような非線形活性化関数)の置き換えは、プライバシ保存機械学習における標準的なプラクティスである。本稿では、ニューラルネットワーク(PANN)の多項式近似と呼ばれる結果のニューラルネットワークを、プライバシ保存モデル推論を可能にするための高度な暗号システムと互換性がある。の近似を用いて、最先端のPANNは基礎となるバックボーンモデルと同様の推論精度を提供する。しかし、近似の効果についてはほとんど分かっておらず、既存の文献では必要な近似精度を実証的に決定することが多かった。本稿では,PANNをスタンドアロンオブジェクトとして検討する。具体的には、私たちの貢献は2倍です。まず、PANNにおける近似誤差の影響について説明する。特に, (1) PANNはある種の摂動の影響を受けやすいこと, (2) 体重正規化はPANNの精度を著しく低下させることがわかった。私たちは実験で説明を支持します。次に,本研究から得られた知見をもとに,PANNの推測精度を向上させる手法を提案する。同じ精度で、私たちのPANNは最先端技術よりも10%から50%正確であり、同じ精度で、私たちのPANNは2^{-9}の精度しか必要とせず、最先端のソリューションはCIFAR-10データセット上でResNet-20モデルを使用して2^{-12}の精度を必要とする。

関連論文リスト

Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文参考訳（メタデータ） (2023-07-27T17:42:06Z)
Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文参考訳（メタデータ） (2023-05-05T09:40:28Z)
Dual Accuracy-Quality-Driven Neural Network for Prediction Interval Generation [0.0]
本稿では,回帰に基づくニューラルネットワークの予測間隔を自動的に学習する手法を提案する。我々の主な貢献は、PI世代ネットワークのための新しい損失関数の設計である。合成データセット,8つのベンチマークデータセット,および実世界の収量予測データセットを用いて実験したところ,本手法は有意な確率カバレッジを維持することができた。
論文参考訳（メタデータ） (2022-12-13T05:03:16Z)
Auto-PINN: Understanding and Optimizing Physics-Informed Neural Architecture [77.59766598165551]
物理インフォームドニューラルネットワーク(PINN)は、ディープラーニングのパワーを科学計算にもたらし、科学と工学の実践に革命をもたらしている。本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法をPINN設計に適用したAuto-PINNを提案する。標準PDEベンチマークを用いた包括的事前実験により、PINNの構造と性能の関係を探索することができる。
論文参考訳（メタデータ） (2022-05-27T03:24:31Z)
A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文参考訳（メタデータ） (2022-05-01T05:46:13Z)
Selective Network Linearization for Efficient Private Inference [49.937470642033155]
本稿では,予測精度を維持しつつReLUを選択的に線形化する勾配に基づくアルゴリズムを提案する。その結果、現在の技術よりも4.25%$の精度(so-ReLUは50K)、または2.2times$のレイテンシ(so-accuracyは70%)が低いことがわかった。
論文参考訳（メタデータ） (2022-02-04T19:00:24Z)
Multi-fidelity Bayesian Neural Networks: Algorithms and Applications [0.0]
本稿では,可変忠実度の雑音データを用いて訓練できるベイズ型ニューラルネットワーク(BNN)を提案する。関数近似の学習や、偏微分方程式(PDE)に基づく逆問題の解法に応用する。
論文参考訳（メタデータ） (2020-12-19T02:03:53Z)
Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
論文参考訳（メタデータ） (2020-09-28T03:29:19Z)
Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文参考訳（メタデータ） (2020-07-09T13:28:49Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。