論文の概要: Quantized convolutional neural networks through the lens of partial differential equations

• arxiv url: http://arxiv.org/abs/2109.00095v1
• Date: Tue, 31 Aug 2021 22:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 14:16:19.783551
• Title: Quantized convolutional neural networks through the lens of partial differential equations
• Title（参考訳）: 偏微分方程式のレンズによる量子化畳み込みニューラルネットワーク
• Authors: Ido Ben-Yair, Gil Ben Shalom, Moshe Eliasof, Eran Treister
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。 本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
• 参考スコア（独自算出の注目度）: 6.88204255655161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization of Convolutional Neural Networks (CNNs) is a common approach to ease the computational burden involved in the deployment of CNNs, especially on low-resource edge devices. However, fixed-point arithmetic is not natural to the type of computations involved in neural networks. In this work, we explore ways to improve quantized CNNs using PDE-based perspective and analysis. First, we harness the total variation (TV) approach to apply edge-aware smoothing to the feature maps throughout the network. This aims to reduce outliers in the distribution of values and promote piece-wise constant maps, which are more suitable for quantization. Secondly, we consider symmetric and stable variants of common CNNs for image classification, and Graph Convolutional Networks (GCNs) for graph node-classification. We demonstrate through several experiments that the property of forward stability preserves the action of a network under different quantization rates. As a result, stable quantized networks behave similarly to their non-quantized counterparts even though they rely on fewer parameters. We also find that at times, stability even aids in improving accuracy. These properties are of particular interest for sensitive, resource-constrained, low-power or real-time applications like autonomous driving.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)の量子化は、cnn(特に低リソースエッジデバイス)の展開に関わる計算負荷を軽減する一般的なアプローチである。 しかし、固定点算術はニューラルネットワークに関わる計算の種類には自然ではない。 本研究では,pdeに基づくパースペクティブと分析を用いて,量子化cnnを改善する方法について検討する。 まず,ネットワーク全体の機能マップにエッジアウェアスムージングを適用するために,total variation (tv) アプローチを利用する。 これは、値の分布における外れ値の削減と、量子化により適したピースワイドな定数写像の促進を目的としている。 次に,画像分類のための共通cnnの対称かつ安定な変種と,グラフノード分類のためのグラフ畳み込みネットワーク(gcns)を考える。 本研究では, 量子化速度の異なるネットワークの動作を, フォワード安定性の特性が維持できることを実証する。 その結果、安定した量子化ネットワークは、パラメータの少ないにもかかわらず、量子化されていないネットワークと同様に振る舞う。 また、安定性が正確性を改善するのにも役立ちます。 これらの特性は、自律運転のような敏感でリソースに制約のある、低消費電力またはリアルタイムなアプリケーションに特に関心がある。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• On the rates of convergence for learning with convolutional neural networks [9.772773527230134]
  畳み込みニューラルネットワーク(CNN)の1側ゼロパディングと複数のチャネルによる近似と学習能力について検討した。 多くの学習問題におけるCNNに基づく推定器の収束率を導出する。 また、得られた分類率は、いくつかの一般的な設定において極小であることも示している。
  論文  参考訳（メタデータ） (2024-03-25T06:42:02Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Parameter Convex Neural Networks [13.42851919291587]
  本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。 後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
  論文  参考訳（メタデータ） (2022-06-11T16:44:59Z)
• Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
  学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。 単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
  論文  参考訳（メタデータ） (2022-01-26T18:47:38Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
  グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。 GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
  論文  参考訳（メタデータ） (2021-10-10T04:37:19Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。