論文の概要: Weight Fixing Networks
- arxiv url: http://arxiv.org/abs/2210.13554v1
- Date: Mon, 24 Oct 2022 19:18:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:00:28.470310
- Title: Weight Fixing Networks
- Title（参考訳）: 重み付けネットワーク
- Authors: Christopher Subia-Waud and Srinandan Dasmahapatra
- Abstract要約: ネットワーク内の一意なパラメータのエントロピーと数を最小化するために、ネットワーク全体の量子化を検討する。
そこで本研究では,4つのモデル結果の目標を実現するために,WFN(Weight Fixing Networks)と呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern iterations of deep learning models contain millions (billions) of
unique parameters, each represented by a b-bit number. Popular attempts at
compressing neural networks (such as pruning and quantisation) have shown that
many of the parameters are superfluous, which we can remove (pruning) or
express with less than b-bits (quantisation) without hindering performance.
Here we look to go much further in minimising the information content of
networks. Rather than a channel or layer-wise encoding, we look to lossless
whole-network quantisation to minimise the entropy and number of unique
parameters in a network. We propose a new method, which we call Weight Fixing
Networks (WFN) that we design to realise four model outcome objectives: i) very
few unique weights, ii) low-entropy weight encodings, iii) unique weight values
which are amenable to energy-saving versions of hardware multiplication, and
iv) lossless task-performance. Some of these goals are conflicting. To best
balance these conflicts, we combine a few novel (and some well-trodden) tricks;
a novel regularisation term, (i, ii) a view of clustering cost as relative
distance change (i, ii, iv), and a focus on whole-network re-use of weights (i,
iii). Our Imagenet experiments demonstrate lossless compression using 56x fewer
unique weights and a 1.9x lower weight-space entropy than SOTA quantisation
approaches.
- Abstract（参考訳）: 現代のディープラーニングモデルの反復には、bビット数で表されるユニークなパラメータが数百万(ビリオン)含まれている。
ニューラルネットワークを圧縮する一般的な試み(プルーニングや量子化など)は、多くのパラメータが過剰であり、性能を妨げることなく、除去(プルーニング)またはbビット未満(量子化)で表現できることを示した。
ここでは、ネットワークの情報コンテンツの最小化にさらに力を入れたい。
チャネルや層単位の符号化よりも、ネットワーク内のユニークなパラメータのエントロピーと数を最小化するために、損失のないネットワーク全体の量子化に注目します。
提案手法は重み付けネットワーク(wfn)と呼ばれ、4つのモデル結果を実現するために設計する。
i) 独特な重みはほとんどない。
二 低エントロピー重量符号化
三 ハードウェア乗算の省エネ版に対応可能なユニークな重量値
iv) 損失のないタスクパフォーマンス。
これらの目標のいくつかは矛盾している。
これらの対立を最大限にバランスさせるために、私たちはいくつかの新しい(そして、よく訓練された)トリックを組み合わせます。
二 相対的距離変化としてのクラスタリングコストの考え方(i,ii)
四)および重みの網目再使用(i,i)に焦点を当てる。
iii)。
imagenet実験では,soma量子化法よりも56倍少ない固有重みと1.9倍低い重み空間エントロピーでロスレス圧縮を実証した。
関連論文リスト
- Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。
NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。
75%の圧縮速度でもフルサイズの性能を維持する。
論文 参考訳（メタデータ） (2024-10-10T14:49:58Z) - Post-Training Quantization for Re-parameterization via Coarse & Fine
Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。
我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。
例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文 参考訳（メタデータ） (2023-12-17T02:31:20Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Random Weights Networks Work as Loss Prior Constraint for Image
Restoration [50.80507007507757]
「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」
我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。
強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
論文 参考訳（メタデータ） (2023-03-29T03:43:51Z) - Post-training Quantization for Neural Networks with Provable Guarantees [9.58246628652846]
学習後ニューラルネットワーク量子化手法であるGPFQを,欲求経路追従機構に基づいて修正する。
単層ネットワークを定量化するためには、相対二乗誤差は本質的に重み数で線形に減衰する。
論文 参考訳（メタデータ） (2022-01-26T18:47:38Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - FAT: Learning Low-Bitwidth Parametric Representation via Frequency-Aware
Transformation [31.546529106932205]
周波数認識変換(fat)は、量子化前に周波数領域のネットワーク重み変換を学習する。
FATは、簡単な標準量子化器を使用して、低精度で簡単にトレーニングできます。
コードはもうすぐ入手できる。
論文 参考訳（メタデータ） (2021-02-15T10:35:20Z) - Direct Quantization for Training Highly Accurate Low Bit-width Deep
Neural Networks [73.29587731448345]
本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。
まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。
第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
論文 参考訳（メタデータ） (2020-12-26T15:21:18Z) - Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization [0.2538209532048866]
畳み込みニューラルネットワーク(CNN)の性能と記憶効率を向上させる方法として、プルーニングと量子化が証明されている。
CNN重みテンソルにおける別の冗長性は、類似した値の繰り返しパターンの形で識別する。
論文 参考訳（メタデータ） (2020-06-22T01:54:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。