論文の概要: Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of
Quantization on Depthwise Separable Convolutional Networks Through the Eyes
of Multi-scale Distributional Dynamics
- arxiv url: http://arxiv.org/abs/2104.11849v1
- Date: Sat, 24 Apr 2021 01:28:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-29 04:33:42.261730
- Title: Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of
Quantization on Depthwise Separable Convolutional Networks Through the Eyes
of Multi-scale Distributional Dynamics
- Title（参考訳）: すべてのモバイルネットは貧弱か?
マルチスケール分布動力学の視点を通した奥行き分離可能な畳み込みネットワークに対する量子化の影響に関する考察
- Authors: Stone Yun and Alexander Wong
- Abstract要約: MobileNetsは、モバイル用のディープ畳み込みニューラルネットワーク(CNN)のファミリーである。
訓練後の量子化では、精度が著しく低下することが多い。
より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて検討する。
- 参考スコア（独自算出の注目度）: 93.4221402881609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the "Mobile AI" revolution continues to grow, so does the need to
understand the behaviour of edge-deployed deep neural networks. In particular,
MobileNets are the go-to family of deep convolutional neural networks (CNN) for
mobile. However, they often have significant accuracy degradation under
post-training quantization. While studies have introduced quantization-aware
training and other methods to tackle this challenge, there is limited
understanding into why MobileNets (and potentially depthwise-separable CNNs
(DWSCNN) in general) quantize so poorly compared to other CNN architectures.
Motivated to gain deeper insights into this phenomenon, we take a different
strategy and study the multi-scale distributional dynamics of MobileNet-V1, a
set of smaller DWSCNNs, and regular CNNs. Specifically, we investigate the
impact of quantization on the weight and activation distributional dynamics as
information propagates from layer to layer, as well as overall changes in
distributional dynamics at the network level. This fine-grained analysis
revealed significant dynamic range fluctuations and a "distributional mismatch"
between channelwise and layerwise distributions in DWSCNNs that lead to
increasing quantized degradation and distributional shift during information
propagation. Furthermore, analysis of the activation quantization errors show
that there is greater quantization error accumulation in DWSCNN compared to
regular CNNs. The hope is that such insights can lead to innovative strategies
for reducing such distributional dynamics changes and improve post-training
quantization for mobile.
- Abstract（参考訳）: モバイルAI”革命が拡大を続けるにつれ、エッジデプロイされたディープニューラルネットワークの振る舞いを理解する必要も出てくる。
特にmobilenetsは、モバイル向けのディープ畳み込みニューラルネットワーク(cnn)のgo-toファミリーである。
しかし、訓練後の量子化では精度が著しく低下することが多い。
研究はこの課題に対処するための量子化対応トレーニングやその他の手法を導入しているが、MobileNets(およびDWSCNN)が他のCNNアーキテクチャと比べて量子化に乏しい理由については限定的な理解がある。
この現象についてより深い知見を得るため、我々は異なる戦略を採り、より小さなDWSCNNと通常のCNNの集合であるMobileNet-V1のマルチスケール分布ダイナミクスについて研究する。
具体的には、情報伝達層から層へと伝播する重みと活性化分布ダイナミクスに対する量子化の影響と、ネットワークレベルでの分布力学の全体的な変化について検討する。
この微粒化分析により,DWSCNNのチャネルワイド分布と層ワイド分布の「分布ミスマッチ」が明らかとなり,情報伝達における量子化劣化と分布シフトが増大した。
さらに, アクティベーション量子化誤差の解析により, 通常のCNNと比較して, DWSCNNの量子化誤差の蓄積が大きいことが示された。
このような洞察が、分散ダイナミクスの変化を低減し、モバイルのトレーニング後の量子化を改善するための革新的な戦略に繋がることを期待している。
関連論文リスト
- RMP-Loss: Regularizing Membrane Potential Distribution for Spiking
Neural Networks [26.003193122060697]
生物学に触発されたモデルの1つとしてスパイキングニューラルネットワーク(SNN)が最近注目を集めている。
本稿では,正則化膜電位損失(RMP-Loss)を提案し,量子化誤差に直接関係する分布をスパイクに近い範囲に調整する。
論文 参考訳（メタデータ） (2023-08-13T14:59:27Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳（メタデータ） (2023-06-02T15:19:08Z) - Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean
Field Neural Networks [47.73646927060476]
広義だが有限な特徴学習ニューラルネットワークにおける有限幅効果のダイナミクスを解析する。
我々の結果は、特徴学習の強みにおいて非摂動的である。
論文 参考訳（メタデータ） (2023-04-06T23:11:49Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Extended critical regimes of deep neural networks [0.0]
重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。
この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。
効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
論文 参考訳（メタデータ） (2022-03-24T10:15:50Z) - Characterizing Learning Dynamics of Deep Neural Networks via Complex
Networks [1.0869257688521987]
複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。
ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。
本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
論文 参考訳（メタデータ） (2021-10-06T10:03:32Z) - Quantized convolutional neural networks through the lens of partial
differential equations [6.88204255655161]
畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。
本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
論文 参考訳（メタデータ） (2021-08-31T22:18:52Z) - Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks [93.4221402881609]
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
論文 参考訳（メタデータ） (2020-11-30T06:54:28Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳（メタデータ） (2020-03-03T07:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。