論文の概要: Long-Range Zero-Shot Generative Deep Network Quantization
- arxiv url: http://arxiv.org/abs/2211.06816v1
- Date: Sun, 13 Nov 2022 04:43:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:15:35.203736
- Title: Long-Range Zero-Shot Generative Deep Network Quantization
- Title（参考訳）: 長距離ゼロショット生成深部ネットワーク量子化
- Authors: Yan Luo, Yangcheng Gao, Zhao Zhang, Haijun Zhang, Mingliang Xu, Meng
Wang
- Abstract要約: 量子化は、浮動小数点数を持つディープネットワークモデルを低ビット幅数で近似する。
我々はLong-Range Zero-Shot Generative Deep Network Quantization (LRQ)と呼ばれる新しいディープネットワーク量子化器を提案する。
- 参考スコア（独自算出の注目度）: 46.67334554503704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization approximates a deep network model with floating-point numbers by
the one with low bit width numbers, in order to accelerate inference and reduce
computation. Quantizing a model without access to the original data, zero-shot
quantization can be accomplished by fitting the real data distribution by data
synthesis. However, zero-shot quantization achieves inferior performance
compared to the post-training quantization with real data. We find it is
because: 1) a normal generator is hard to obtain high diversity of synthetic
data, since it lacks long-range information to allocate attention to global
features; 2) the synthetic images aim to simulate the statistics of real data,
which leads to weak intra-class heterogeneity and limited feature richness. To
overcome these problems, we propose a novel deep network quantizer, dubbed
Long-Range Zero-Shot Generative Deep Network Quantization (LRQ). Technically,
we propose a long-range generator to learn long-range information instead of
simple local features. In order for the synthetic data to contain more global
features, long-range attention using large kernel convolution is incorporated
into the generator. In addition, we also present an Adversarial Margin Add
(AMA) module to force intra-class angular enlargement between feature vector
and class center. As AMA increases the convergence difficulty of the loss
function, which is opposite to the training objective of the original loss
function, it forms an adversarial process. Furthermore, in order to transfer
knowledge from the full-precision network, we also utilize a decoupled
knowledge distillation. Extensive experiments demonstrate that LRQ obtains
better performance than other competitors.
- Abstract（参考訳）: 量子化は、推論を加速し計算を減らすために、浮動小数点数を持つディープネットワークモデルを低ビット幅のネットワークモデルに近似する。
元のデータにアクセスせずにモデルを量子化することで、データ合成によって実際のデータ分布を適合させることでゼロショット量子化を実現できる。
しかし、ゼロショット量子化は実データによる後学習量子化よりも性能が劣る。
原因は以下の通り。
1) 通常の発電機は、グローバルな特徴に注意を向ける長距離情報がないため、高い多様性の合成データを得るのは難しい。
2) 合成画像は実データの統計をシミュレートすることを目的としており, クラス内不均一性が弱く, 特徴量も限られている。
これらの問題を解決するために,Long-Range Zero-Shot Generative Deep Network Quantization (LRQ) と呼ばれる新しいディープネットワーク量子化器を提案する。
技術的には、単純な局所的特徴ではなく、長距離情報を学ぶための長距離生成器を提案する。
合成データがよりグローバルな特徴を含むためには、大きなカーネル畳み込みを用いた長距離の注意を発電機に組み込む。
また,特徴ベクトルとクラス中心の間のクラス内角拡大を強制するAdversarial Margin Add (AMA)モジュールも提案する。
amaは、元の損失関数の訓練目的とは逆の損失関数の収束困難度を増大させるので、逆プロセスを形成する。
さらに, 完全精度ネットワークから知識を伝達するために, 分離された知識蒸留も活用する。
広範な実験により、LRQは他の競合他社よりも優れた性能が得られることが示された。
関連論文リスト
- Multi-Fidelity Residual Neural Processes for Scalable Surrogate Modeling [19.60087366873302]
マルチフィデリティ・サロゲートモデリングは,最も高いフィデリティレベルで正確なサロゲートを学習することを目的としている。
ディープラーニングアプローチでは、ニューラルネットワークベースのエンコーダとデコーダを使用してスケーラビリティを向上させる。
本稿では,MFRNP(Multi-fidelity Residual Neural Processs)を提案する。
論文 参考訳（メタデータ） (2024-02-29T04:40:25Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and
Sparse DNNs [13.446502051609036]
我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。
本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。
最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
論文 参考訳（メタデータ） (2021-09-09T12:57:06Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Data-Free Network Quantization With Adversarial Knowledge Distillation [39.92282726292386]
本稿では,合成データを用いたデータフリーネットワーク量子化について考察する。
合成データはジェネレータから生成されるが、ジェネレータのトレーニングや量子化にはデータを使用しない。
複数のジェネレータと複数の学生を用いて多様な対向サンプルを作成できることを示す。
論文 参考訳（メタデータ） (2020-05-08T16:24:55Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。