論文の概要: Quantized convolutional neural networks through the lens of partial
differential equations
- arxiv url: http://arxiv.org/abs/2109.00095v1
- Date: Tue, 31 Aug 2021 22:18:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:16:19.783551
- Title: Quantized convolutional neural networks through the lens of partial
differential equations
- Title(参考訳): 偏微分方程式のレンズによる量子化畳み込みニューラルネットワーク
- Authors: Ido Ben-Yair, Gil Ben Shalom, Moshe Eliasof, Eran Treister
- Abstract要約: 畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。
本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
- 参考スコア(独自算出の注目度): 6.88204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization of Convolutional Neural Networks (CNNs) is a common approach to
ease the computational burden involved in the deployment of CNNs, especially on
low-resource edge devices. However, fixed-point arithmetic is not natural to
the type of computations involved in neural networks. In this work, we explore
ways to improve quantized CNNs using PDE-based perspective and analysis. First,
we harness the total variation (TV) approach to apply edge-aware smoothing to
the feature maps throughout the network. This aims to reduce outliers in the
distribution of values and promote piece-wise constant maps, which are more
suitable for quantization. Secondly, we consider symmetric and stable variants
of common CNNs for image classification, and Graph Convolutional Networks
(GCNs) for graph node-classification. We demonstrate through several
experiments that the property of forward stability preserves the action of a
network under different quantization rates. As a result, stable quantized
networks behave similarly to their non-quantized counterparts even though they
rely on fewer parameters. We also find that at times, stability even aids in
improving accuracy. These properties are of particular interest for sensitive,
resource-constrained, low-power or real-time applications like autonomous
driving.
- Abstract(参考訳): 畳み込みニューラルネットワーク(cnns)の量子化は、cnn(特に低リソースエッジデバイス)の展開に関わる計算負荷を軽減する一般的なアプローチである。
しかし、固定点算術はニューラルネットワークに関わる計算の種類には自然ではない。
本研究では,pdeに基づくパースペクティブと分析を用いて,量子化cnnを改善する方法について検討する。
まず,ネットワーク全体の機能マップにエッジアウェアスムージングを適用するために,total variation (tv) アプローチを利用する。
これは、値の分布における外れ値の削減と、量子化により適したピースワイドな定数写像の促進を目的としている。
次に,画像分類のための共通cnnの対称かつ安定な変種と,グラフノード分類のためのグラフ畳み込みネットワーク(gcns)を考える。
本研究では, 量子化速度の異なるネットワークの動作を, フォワード安定性の特性が維持できることを実証する。
その結果、安定した量子化ネットワークは、パラメータの少ないにもかかわらず、量子化されていないネットワークと同様に振る舞う。
また、安定性が正確性を改善するのにも役立ちます。
これらの特性は、自律運転のような敏感でリソースに制約のある、低消費電力またはリアルタイムなアプリケーションに特に関心がある。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - SO(2) and O(2) Equivariance in Image Recognition with
Bessel-Convolutional Neural Networks [63.24965775030674]
この研究はベッセル畳み込みニューラルネットワーク(B-CNN)の開発を示す
B-CNNは、ベッセル関数に基づく特定の分解を利用して、画像とフィルタの間のキー操作を変更する。
他の手法と比較して,B-CNNの性能を評価するために検討を行った。
論文 参考訳(メタデータ) (2023-04-18T18:06:35Z) - Parameter Convex Neural Networks [13.42851919291587]
本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。
後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
論文 参考訳(メタデータ) (2022-06-11T16:44:59Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳(メタデータ) (2022-01-26T18:47:38Z) - Implicit Equivariance in Convolutional Networks [1.911678487931003]
IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。
IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-11-28T14:44:17Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳(メタデータ) (2021-10-10T04:37:19Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳(メタデータ) (2020-12-04T19:50:09Z) - Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
量子畳み込みニューラルネットワーク(QCNN)が提案されている。
我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
論文 参考訳(メタデータ) (2020-11-05T16:46:13Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。