論文の概要: Learning Sparse & Ternary Neural Networks with Entropy-Constrained
Trained Ternarization (EC2T)
- arxiv url: http://arxiv.org/abs/2004.01077v2
- Date: Mon, 25 May 2020 09:37:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 09:54:08.650879
- Title: Learning Sparse & Ternary Neural Networks with Entropy-Constrained
Trained Ternarization (EC2T)
- Title（参考訳）: entropy-constrained training ternarization (ec2t) を用いたsparse & ternaryニューラルネットワークの学習
- Authors: Arturo Marban, Daniel Becking, Simon Wiedemann and Wojciech Samek
- Abstract要約: ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。
近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。
本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
- 参考スコア（独自算出の注目度）: 17.13246260883765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNN) have shown remarkable success in a variety of
machine learning applications. The capacity of these models (i.e., number of
parameters), endows them with expressive power and allows them to reach the
desired performance. In recent years, there is an increasing interest in
deploying DNNs to resource-constrained devices (i.e., mobile devices) with
limited energy, memory, and computational budget. To address this problem, we
propose Entropy-Constrained Trained Ternarization (EC2T), a general framework
to create sparse and ternary neural networks which are efficient in terms of
storage (e.g., at most two binary-masks and two full-precision values are
required to save a weight matrix) and computation (e.g., MAC operations are
reduced to a few accumulations plus two multiplications). This approach
consists of two steps. First, a super-network is created by scaling the
dimensions of a pre-trained model (i.e., its width and depth). Subsequently,
this super-network is simultaneously pruned (using an entropy constraint) and
quantized (that is, ternary values are assigned layer-wise) in a training
process, resulting in a sparse and ternary network representation. We validate
the proposed approach in CIFAR-10, CIFAR-100, and ImageNet datasets, showing
its effectiveness in image classification tasks.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。
これらのモデル(例えばパラメータの数)の容量は表現力を与え、所望のパフォーマンスに到達できるようにする。
近年、資源に制約のあるデバイス(モバイルデバイス)にDNNを配置することへの関心が高まっており、エネルギー、メモリ、計算予算が限られている。
この問題に対処するために、ストレージ(例えば、重み行列を保存するために、最大2つのバイナリマスクと2つの完全精度値)と計算(例えば、MAC操作は、数個の累積と2つの乗算に還元される)において効率的なスパースニューラルネットワークと3次ニューラルネットワークを作成する一般的なフレームワークであるEntropy-Constrained Ternarization (EC2T)を提案する。
このアプローチは2つのステップからなる。
まず、事前訓練されたモデルの寸法(すなわち幅と深さ)をスケールすることによって、スーパーネットワークが作成される。
その後、このスーパーネットワークは(エントロピー制約を用いて)同時に切断され、トレーニングプロセスにおいて量子化され(3次値は層単位で割り当てられる)、スパースおよび3次ネットワーク表現をもたらす。
CIFAR-10, CIFAR-100, ImageNetデータセットにおける提案手法の有効性を検証する。
関連論文リスト
- Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。
私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
論文 参考訳（メタデータ） (2024-07-16T15:55:38Z) - Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳（メタデータ） (2023-11-01T16:37:00Z) - Soft Threshold Ternary Networks [36.722958963130665]
以前の三元化ニューラルネットワークでは、量子化間隔を決定するためにハードしきい値デルタが導入された。
本稿では,モデルが量子化間隔を自動的に決定することのできるソフト・スレッショルド・ターナリー・ネットワーク(STTN)を提案する。
提案手法は, 最先端ネットワークと極低ビットネットワーク間の性能ギャップを小さくし, 現状を劇的に改善する。
論文 参考訳（メタデータ） (2022-04-04T04:43:42Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - ActNN: Reducing Training Memory Footprint via 2-Bit Activation
Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。
ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-04-29T05:50:54Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。
エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。
ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
論文 参考訳（メタデータ） (2020-10-24T05:09:14Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。