論文の概要: HEMP: High-order Entropy Minimization for neural network comPression
- arxiv url: http://arxiv.org/abs/2107.05298v1
- Date: Mon, 12 Jul 2021 10:17:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 20:41:10.367235
- Title: HEMP: High-order Entropy Minimization for neural network comPression
- Title（参考訳）: HEMP:ニューラルネットワーク圧縮のための高次エントロピー最小化
- Authors: Enzo Tartaglione, St\'ephane Lathuili\`ere, Attilio Fiandrotti, Marco
Cagnazzo, Marco Grangetto
- Abstract要約: 我々は、量子化された人工ニューラルネットワークのエントロピーを、正規化項として、降下によって最小化されるコスト関数にプラグインできる微分可能な関数として定式化する。
HEMPは, モデル自体の刈り取りや定量化を目的とした他の手法と相乗効果があり, モデルの性能を損なうことなく, ストレージサイズ圧縮性の観点から大きなメリットが得られることを示す。
- 参考スコア（独自算出の注目度）: 20.448617917261874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We formulate the entropy of a quantized artificial neural network as a
differentiable function that can be plugged as a regularization term into the
cost function minimized by gradient descent. Our formulation scales efficiently
beyond the first order and is agnostic of the quantization scheme. The network
can then be trained to minimize the entropy of the quantized parameters, so
that they can be optimally compressed via entropy coding. We experiment with
our entropy formulation at quantizing and compressing well-known network
architectures over multiple datasets. Our approach compares favorably over
similar methods, enjoying the benefits of higher order entropy estimate,
showing flexibility towards non-uniform quantization (we use Lloyd-max
quantization), scalability towards any entropy order to be minimized and
efficiency in terms of compression. We show that HEMP is able to work in
synergy with other approaches aiming at pruning or quantizing the model itself,
delivering significant benefits in terms of storage size compressibility
without harming the model's performance.
- Abstract（参考訳）: 本研究では, 量子化人工ニューラルネットワークのエントロピーを, 勾配降下により最小化されるコスト関数に正規化項としてプラグインできる微分可能な関数として定式化する。
我々の定式化は1次を超えて効率的にスケールし、量子化スキームを知らない。
ネットワークは量子化パラメータのエントロピーを最小化するために訓練され、エントロピー符号化によって最適な圧縮が可能となる。
我々は、よく知られたネットワークアーキテクチャを複数のデータセット上で量子化し、圧縮するためのエントロピー定式化実験を行った。
提案手法は類似手法よりも有利に比較し,高次エントロピー推定の利点を享受し,非一様量子化への柔軟性(ロイド・マックス量子化を用いる),エントロピー順序への拡張性,圧縮の効率性を示す。
HEMPは, モデル自体の刈り取りや定量化を目的とした他の手法と相乗効果があり, モデルの性能を損なうことなく, ストレージサイズ圧縮性の観点から大きなメリットが得られることを示す。
関連論文リスト
- Compact Multi-Threshold Quantum Information Driven Ansatz For Strongly Interactive Lattice Spin Models [0.0]
近似量子相互情報(QMI)に基づくアンザッツ建築の体系的手順を提案する。
提案手法は,QMI値に基づいて各層の量子ビット対が選択される層状アンサッツを生成し,より効率的な状態生成と最適化ルーチンを実現する。
その結果,Multi-QIDA法は高い精度を維持しながら計算複雑性を低減し,格子スピンモデルにおける量子シミュレーションに有望なツールであることがわかった。
論文 参考訳（メタデータ） (2024-08-05T17:07:08Z) - Deep Neural Networks as Variational Solutions for Correlated Open
Quantum Systems [0.0]
より強力なモデルで直接密度行列をパラメータ化することで、より良い変分アンザッツ関数が得られることを示す。
本稿では, 散逸的一次元逆場イジングモデルと2次元散逸的ハイゼンベルクモデルについて述べる。
論文 参考訳（メタデータ） (2024-01-25T13:41:34Z) - Quantum Semidefinite Programming with Thermal Pure Quantum States [0.5639904484784125]
行列乗法重み付けアルゴリズムの量子化'''は、古典的アルゴリズムよりも2次的に高速なSDPの近似解が得られることを示す。
この量子アルゴリズムを改良し、ギブス状態サンプリング器を熱純量子(TPQ)状態に置き換えることで、同様のスピードアップが得られることを示す。
論文 参考訳（メタデータ） (2023-10-11T18:00:53Z) - Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。
従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。
これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
論文 参考訳（メタデータ） (2023-08-08T21:38:02Z) - Absence of barren plateaus and scaling of gradients in the energy optimization of isometric tensor network states [0.0]
広いハミルトンと有限範囲の相互作用を持つ量子多体系のエネルギー問題を考える。
行列積状態,木テンソルネットワーク,およびマルチスケールエンタングル化再正規化アンサッツに対する変分最適化問題は,バレンプラトーを含まないことを証明した。
論文 参考訳（メタデータ） (2023-03-31T22:49:49Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳（メタデータ） (2023-03-01T10:38:10Z) - Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。
提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。
大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
論文 参考訳（メタデータ） (2022-11-02T14:35:13Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Nonuniform-to-Uniform Quantization: Towards Accurate Quantization via
Generalized Straight-Through Estimation [48.838691414561694]
非一様量子化(英: Nonuniform-to-Uniform Quantization、N2UQ)は、ハードウェアフレンドリーで効率的な非一様法の強力な表現能力を維持できる方法である。
N2UQはImageNet上で最先端の非一様量子化法を0.71.8%上回る。
論文 参考訳（メタデータ） (2021-11-29T18:59:55Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。