Fugu-MT 論文翻訳(概要): Sparsity-Control Ternary Weight Networks

論文の概要: Sparsity-Control Ternary Weight Networks

arxiv url: http://arxiv.org/abs/2011.00580v2
Date: Fri, 22 Oct 2021 01:10:12 GMT
ステータス: 処理完了
システム内更新日: 2022-09-30 23:39:01.075503
Title: Sparsity-Control Ternary Weight Networks
Title（参考訳）: スパーシティ制御三元重みネットワーク
Authors: Xiang Deng and Zhongfei Zhang
Abstract要約: 我々は、乗算を回避し、メモリと要求を大幅に削減できる3次重み -1, 0, +1 ネットワークのトレーニングに重点を置いている。既存の3次重みネットワークのトレーニングアプローチでは、3次重みの間隔を制御できない。 3次重みネットワークをトレーニングするための第一時空間制御手法(SCA)を提案する。
参考スコア（独自算出の注目度）: 34.00378876525579
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks (DNNs) have been widely and successfully applied to various applications, but they require large amounts of memory and computational power. This severely restricts their deployment on resource-limited devices. To address this issue, many efforts have been made on training low-bit weight DNNs. In this paper, we focus on training ternary weight \{-1, 0, +1\} networks which can avoid multiplications and dramatically reduce the memory and computation requirements. A ternary weight network can be considered as a sparser version of the binary weight counterpart by replacing some -1s or 1s in the binary weights with 0s, thus leading to more efficient inference but more memory cost. However, the existing approaches to training ternary weight networks cannot control the sparsity (i.e., percentage of 0s) of the ternary weights, which undermines the advantage of ternary weights. In this paper, we propose to our best knowledge the first sparsity-control approach (SCA) to training ternary weight networks, which is simply achieved by a weight discretization regularizer (WDR). SCA is different from all the existing regularizer-based approaches in that it can control the sparsity of the ternary weights through a controller $\alpha$ and does not rely on gradient estimators. We theoretically and empirically show that the sparsity of the trained ternary weights is positively related to $\alpha$. SCA is extremely simple, easy-to-implement, and is shown to consistently outperform the state-of-the-art approaches significantly over several benchmark datasets and even matches the performances of the full-precision weight counterparts.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々なアプリケーションに広く応用されてきたが、大量のメモリと計算能力を必要とする。これにより、リソース制限されたデバイスへのデプロイメントが厳しく制限される。この問題に対処するため、低ビットのDNNのトレーニングに多くの取り組みがなされている。本稿では,3次重み付き{-1, 0, +1\}ネットワークの学習に焦点をあて,乗算を回避し,メモリと計算要求を大幅に削減する。三元重みネットワークは、二元重みの -1 または 1 を 0 に置き換えることで二元重み対応のスパーザーバージョンと見なすことができ、これによりより効率的な推論が可能となるが、メモリコストは増大する。しかし、既存の三元重みネットワークのトレーニングアプローチは三元重みのスパース性(すなわち0sの割合)を制御できず、三元重みの利点を損なう。本稿では,3次重みネットワークをトレーニングするためのSCA (spursity-control approach) について,ウェイト離散化正規化器 (WDR) によって簡易に実現した。 SCAは、コントローラ$\alpha$を通じて三次重みの間隔を制御でき、勾配推定器に依存しない、既存の正規化子ベースのアプローチと異なる。理論上、経験的に訓練された三元重みのスパース性は$\alpha$ と正に関連していることを示している。 SCAは非常にシンプルで実装が簡単で、いくつかのベンチマークデータセットよりも最先端のアプローチをはるかに上回り、フル精度の重み付けのパフォーマンスに匹敵する結果が出ています。

関連論文リスト

OvSW: Overcoming Silent Weights for Accurate Binary Neural Networks [19.41917323210239]
バイナリニューラルネットワーク(BNN)における重み付け更新の効率性について検討する。バニラBNNでは、トレーニング中に重量の50%以上が変化していない。この問題に対処するために、オーバーカム・サイレント・ウェイト(OvSW)を提案する。
論文参考訳（メタデータ） (2024-07-07T05:01:20Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment [95.04504362111314]
本稿では,異なるレベルの空間に容易に展開可能な深層ネットワーク構築のための実用的ソリューションであるELSAを提案する。中心となる考え方は、重みの適切なサブセットとして、1つの高密度ネットワークに1つ以上のスパースネットワークを埋め込むことである。予測時には、任意のスパースモデルを、予め定義されたマスクに従って単純に重みをゼロにすることができる。
論文参考訳（メタデータ） (2023-12-11T22:44:05Z)
Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文参考訳（メタデータ） (2023-06-29T14:52:04Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
論文参考訳（メタデータ） (2021-03-17T00:31:24Z)
SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。 CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文参考訳（メタデータ） (2021-02-16T07:03:51Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)
Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文参考訳（メタデータ） (2020-06-30T09:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。