論文の概要: Soft Threshold Ternary Networks

• arxiv url: http://arxiv.org/abs/2204.01234v1
• Date: Mon, 4 Apr 2022 04:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 15:25:40.232123
• Title: Soft Threshold Ternary Networks
• Title（参考訳）: ソフトしきい値三元ネットワーク
• Authors: Weixiang Xu, Xiangyu He, Tianli Zhao, Qinghao Hu, Peisong Wang and Jian Cheng
• Abstract要約: 以前の三元化ニューラルネットワークでは、量子化間隔を決定するためにハードしきい値デルタが導入された。 本稿では,モデルが量子化間隔を自動的に決定することのできるソフト・スレッショルド・ターナリー・ネットワーク(STTN)を提案する。 提案手法は, 最先端ネットワークと極低ビットネットワーク間の性能ギャップを小さくし, 現状を劇的に改善する。
• 参考スコア（独自算出の注目度）: 36.722958963130665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large neural networks are difficult to deploy on mobile devices because of intensive computation and storage. To alleviate it, we study ternarization, a balance between efficiency and accuracy that quantizes both weights and activations into ternary values. In previous ternarized neural networks, a hard threshold {\Delta} is introduced to determine quantization intervals. Although the selection of {\Delta} greatly affects the training results, previous works estimate {\Delta} via an approximation or treat it as a hyper-parameter, which is suboptimal. In this paper, we present the Soft Threshold Ternary Networks (STTN), which enables the model to automatically determine quantization intervals instead of depending on a hard threshold. Concretely, we replace the original ternary kernel with the addition of two binary kernels at training time, where ternary values are determined by the combination of two corresponding binary values. At inference time, we add up the two binary kernels to obtain a single ternary kernel. Our method dramatically outperforms current state-of-the-arts, lowering the performance gap between full-precision networks and extreme low bit networks. Experiments on ImageNet with ResNet-18 (Top-1 66.2%) achieves new state-of-the-art. Update: In this version, we further fine-tune the experimental hyperparameters and training procedure. The latest STTN shows that ResNet-18 with ternary weights and ternary activations achieves up to 68.2% Top-1 accuracy on ImageNet. Code is available at: github.com/WeixiangXu/STTN.
• Abstract（参考訳）: 大規模なニューラルネットワークは、集中的な計算とストレージのため、モバイルデバイスへのデプロイが難しい。 そこで本研究では,重みとアクティベーションを3次値に定量化する効率と精度のバランスであるテルナライズについて検討した。 以前の三元化ニューラルネットワークでは、量子化間隔を決定するためにハードしきい値 {\Delta} が導入された。 Delta の選択はトレーニング結果に大きな影響を及ぼすが、以前の研究は近似を用いて {\Delta} を推定し、超パラメータとして扱い、これは準最適である。 本稿では、ハードしきい値に依存するのではなく、自動的に量子化間隔を決定できるソフト閾値3次ネットワーク(STTN)を提案する。 具体的には、トレーニング時に元の三進カーネルを2つの二進カーネルに置き換え、三進値は対応する2つの二進値の組み合わせによって決定される。 推論時には、2つのバイナリカーネルを追加して1つの3次カーネルを得る。 提案手法は, 最先端ネットワークと極低ビットネットワーク間の性能ギャップを小さくし, 現状を劇的に改善する。 ResNet-18(Top-1 66.2%)によるImageNetの実験は、新しい最先端を実現する。 アップデート:本バージョンでは、実験用ハイパーパラメータとトレーニング手順をさらに微調整する。 最新のSTTNによると、ResNet-18は3つの重みと3つのアクティベーションを持ち、ImageNet上で最大68.2%のTop-1精度を実現している。 コードは、github.com/WeixiangXu/STTNで入手できる。

関連論文リスト

• BiPer: Binary Neural Networks using a Periodic Function [17.461853355858022]
  量子ニューラルネットワークは、重みとアクティベーションの両方に精度の低下した表現を用いる。 バイナリニューラルネットワーク(BNN)は極端量子化のケースであり、わずか1ビットで値を表す。 現在のBNNのアプローチとは対照的に,バイナライゼーションにおいて,バイナリ周期関数 (BiPer) を用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:52:17Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of Quantized CNNs [9.807687918954763]
  畳み込みニューラルネットワーク(CNN)は、画像処理、分類、セグメンテーションタスクのためのディープニューラルネットワークの標準クラスとなっている。 RedBitは、透過的で使いやすいインターフェースを提供するオープンソースのフレームワークで、異なるアルゴリズムの有効性をネットワークの精度で評価する。
  論文  参考訳（メタデータ） (2023-01-15T21:27:35Z)
• AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
  本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。 最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。 ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
  論文  参考訳（メタデータ） (2022-08-17T05:43:33Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T) [17.13246260883765]
  ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。 近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。 本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T15:38:00Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。