論文の概要: Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2011.14578v1
- Date: Mon, 30 Nov 2020 06:54:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-07 05:38:04.240639
- Title: Where Should We Begin? A Low-Level Exploration of Weight Initialization
Impact on Quantized Behaviour of Deep Neural Networks
- Title（参考訳）: どこに行くべきか?
深層ニューラルネットワークの量子化挙動に及ぼす重み初期化効果の低レベル探索
- Authors: Stone Yun and Alexander Wong
- Abstract要約: 異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
我々の知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは、私たちは初めてである。
- 参考スコア（独自算出の注目度）: 93.4221402881609
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the proliferation of deep convolutional neural network (CNN) algorithms
for mobile processing, limited precision quantization has become an essential
tool for CNN efficiency. Consequently, various works have sought to design
fixed precision quantization algorithms and quantization-focused optimization
techniques that minimize quantization induced performance degradation. However,
there is little concrete understanding of how various CNN design decisions/best
practices affect quantized inference behaviour. Weight initialization
strategies are often associated with solving issues such as vanishing/exploding
gradients but an often-overlooked aspect is their impact on the final trained
distributions of each layer. We present an in-depth, fine-grained ablation
study of the effect of different weights initializations on the final
distributions of weights and activations of different CNN architectures. The
fine-grained, layerwise analysis enables us to gain deep insights on how
initial weights distributions will affect final accuracy and quantized
behaviour. To our best knowledge, we are the first to perform such a low-level,
in-depth quantitative analysis of weights initialization and its effect on
quantized behaviour.
- Abstract（参考訳）: モバイル処理のためのディープ畳み込みニューラルネットワーク(CNN)アルゴリズムの普及により、限られた精度の量子化がCNN効率にとって重要なツールとなっている。
その結果,固定精度量子化アルゴリズムの設計や,量子化による性能劣化を最小限に抑える量子化重視最適化手法が提案されている。
しかしながら、様々なcnn設計決定/ベストプラクティスが量子化推論行動にどのように影響するか、具体的な理解はほとんどない。
重みの初期化戦略は、しばしば勾配の消失や爆発といった問題を解決することに関連づけられるが、しばしば見過ごされている側面は、各層の最終的な訓練された分布に与える影響である。
異なる重みの初期化が重みの最終的な分布と異なるCNNアーキテクチャの活性化に与える影響について、詳細なアブレーション研究を行う。
きめ細かい層解析により、初期重み分布が最終的な精度と定量化行動にどのように影響するかについての深い洞察を得ることができる。
われわれの知る限りでは、ウェイトの初期化とその量子化行動に対する影響について、そのような低レベルで詳細な定量分析を行うのは初めてである。
関連論文リスト
- Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。
従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。
これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文 参考訳（メタデータ） (2023-08-08T21:38:02Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Recurrence of Optimum for Training Weight and Activation Quantized
Networks [4.103701929881022]
低精度の重みとアクティベーションを備えたディープラーニングモデルのトレーニングには、必要な最適化タスクが伴う。
ネットワーク量子化の性質を克服する方法を紹介します。
また,訓練用量子化深層ネットワークにおける重み進化の繰り返し現象の数値的証拠を示す。
論文 参考訳（メタデータ） (2020-12-10T09:14:43Z) - FactorizeNet: Progressive Depth Factorization for Efficient Network
Architecture Exploration Under Quantization Constraints [93.4221402881609]
量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。
アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。
このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
論文 参考訳（メタデータ） (2020-11-30T07:12:26Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z) - Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。
量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
論文 参考訳（メタデータ） (2020-02-18T12:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。