論文の概要: Self-Compressing Neural Networks
- arxiv url: http://arxiv.org/abs/2301.13142v2
- Date: Tue, 31 Jan 2023 10:28:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 12:40:17.612381
- Title: Self-Compressing Neural Networks
- Title（参考訳）: 自己圧縮ニューラルネットワーク
- Authors: Szabolcs Cs\'efalvay, James Imber
- Abstract要約: この研究は、ニューラルネットワークの実行時間、消費電力、帯域幅、メモリフットプリントの主要な要因である、ニューラルネットワークのサイズ削減に重点を置いている。
重要な課題は、特別なハードウェアを必要とせずに、効率的なトレーニングと推論のために簡単に活用できる方法でサイズを減らすことである。
本稿では,(1)重みの除去,(2)残りの重みの表現に必要なビット数の削減という2つの目標を同時に達成する,単純で汎用的な方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This work focuses on reducing neural network size, which is a major driver of
neural network execution time, power consumption, bandwidth, and memory
footprint. A key challenge is to reduce size in a manner that can be exploited
readily for efficient training and inference without the need for specialized
hardware. We propose Self-Compression: a simple, general method that
simultaneously achieves two goals: (1) removing redundant weights, and (2)
reducing the number of bits required to represent the remaining weights. This
is achieved using a generalized loss function to minimize overall network size.
In our experiments we demonstrate floating point accuracy with as few as 3% of
the bits and 18% of the weights remaining in the network.
- Abstract（参考訳）: この研究は、ニューラルネットワークの実行時間、消費電力、帯域幅、メモリフットプリントの主要な要因である、ニューラルネットワークのサイズ削減に焦点を当てている。
重要な課題は、特別なハードウェアを必要とせずに、効率的なトレーニングと推論のために簡単に活用できる方法でサイズを減らすことである。
本稿では,(1)余剰重みの除去,(2)余剰重みの表現に必要なビット数の削減という2つの目標を同時に達成する,単純で汎用的な方法を提案する。
これはネットワークサイズを最小化するために一般化された損失関数を用いて達成される。
実験では、ネットワークに残るビットの3%、重みの18%しか残っていない浮動小数点精度を示す。
関連論文リスト
- Weight Fixing Networks [0.0]
ネットワーク内の一意なパラメータのエントロピーと数を最小化するために、ネットワーク全体の量子化を検討する。
そこで本研究では,4つのモデル結果の目標を実現するために,WFN(Weight Fixing Networks)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T19:18:02Z) - DenseShift: Towards Accurate and Efficient Low-Bit Power-of-Two
Quantization [27.231327287238102]
本稿では,シフトネットワークの精度を大幅に向上させるDenseShiftネットワークを提案する。
様々なコンピュータビジョンと音声タスクに関する実験により、DenseShiftは既存の低ビット乗算自由ネットワークよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-08-20T15:17:40Z) - Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。
問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。
提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
論文 参考訳（メタデータ） (2022-05-13T00:28:35Z) - Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。
小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。
数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
論文 参考訳（メタデータ） (2022-01-16T07:22:47Z) - $S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of
Low-bit Shift Networks [41.54155265996312]
シフトニューラルネットワークは、高価な乗算演算を除去し、連続的な重みを低ビットの離散値に量子化することによって複雑さを低減する。
提案手法は、シフトニューラルネットワークの境界を押し上げ、3ビットシフトネットワークは、ImageNet上でトップ1の精度で、フル精度のニューラルネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-07T19:33:02Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Pruning and Quantization for Deep Neural Network Acceleration: A Survey [2.805723049889524]
ディープニューラルネットワークは、コンピュータビジョンの分野で異常な能力を示す多くのアプリケーションに応用されている。
複雑なネットワークアーキテクチャは効率的なリアルタイムデプロイメントに挑戦し、計算資源とエネルギーコストを必要とする。
本稿では,pruning と quantization の2種類のネットワーク圧縮に関する調査を行う。
論文 参考訳（メタデータ） (2021-01-24T08:21:04Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Quantisation and Pruning for Neural Network Compression and
Regularisation [2.320417845168326]
ディープニューラルネットワークは計算コストが大きすぎて、コンシューマグレードのハードウェアや低消費電力のデバイス上でリアルタイムで動作できない。
ニューラルネットワークの計算とメモリ要件の低減を,ネットワークプルーニングと量子化によって検討する。
論文 参考訳（メタデータ） (2020-01-14T15:22:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。