論文の概要: MinConvNets: A new class of multiplication-less Neural Networks

• arxiv url: http://arxiv.org/abs/2101.09492v1
• Date: Sat, 23 Jan 2021 12:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-19 10:40:37.093826
• Title: MinConvNets: A new class of multiplication-less Neural Networks
• Title（参考訳）: MinConvNets: 乗算なしニューラルネットワークの新しいクラス
• Authors: Xuecan Yang, Sumanta Chaudhuri, Laurence Likforman, Lirida Naviner
• Abstract要約: 最小のコンパレータ操作で前方伝播の乗算を近似するMinConvNetを紹介します。 特定の制約下で前方伝搬における最小演算で乗算子を置き換えることが可能であることを示す。 また、よく訓練された正確なCNNからの伝達学習を用いて、MinConvNetsの推論中に等価な精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.0323063834827415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks have achieved unprecedented success in image classification, recognition, or detection applications. However, their large-scale deployment in embedded devices is still limited by the huge computational requirements, i.e., millions of MAC operations per layer. In this article, MinConvNets where the multiplications in the forward propagation are approximated by minimum comparator operations are introduced. Hardware implementation of minimum operation is much simpler than multipliers. Firstly, a methodology to find approximate operations based on statistical correlation is presented. We show that it is possible to replace multipliers by minimum operations in the forward propagation under certain constraints, i.e. given similar mean and variances of the feature and the weight vectors. A modified training method which guarantees the above constraints is proposed. And it is shown that equivalent precision can be achieved during inference with MinConvNets by using transfer learning from well trained exact CNNs.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、画像分類、認識、検出アプリケーションで前例のない成功を収めている。 しかし、組み込みデバイスへの大規模な展開は、いまだに巨大な計算要求、すなわち層当たり数百万のMAC操作によって制限されている。 本稿では、フォワード伝搬における乗算を最小コンパレータ演算によって近似するminconvnetについて述べる。 最小演算のハードウェア実装は乗算器よりもはるかに単純である。 まず,統計的相関に基づく近似演算を求める手法を提案する。 我々は、ある制約の下での前方伝播において、乗算器を最小演算で置き換えることができることを示す。 特徴と重みベクトルの 類似した平均と分散が与えられます 上記の制約を保証した修正トレーニング手法を提案する。 また、よく訓練された正確なCNNからの伝達学習を用いて、MinConvNetsの推論中に等価な精度が得られることを示す。

関連論文リスト

• TabConv: Low-Computation CNN Inference via Table Lookups [0.0]
  CNN推論は大量の演算を必要とするため、ハードウェアにデプロイするのにコストがかかる。 本稿では,テーブルベースの畳み込み近似であるTabConvを提案する。 我々は、人気のあるCNN(ResNet-18、ResNet-34、NetworkInNetwork(NIN))に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2024-04-08T21:09:59Z)
• Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
  本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。 この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。 このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
  論文  参考訳（メタデータ） (2022-07-29T21:59:29Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Learning from Small Samples: Transformation-Invariant SVMs with Composition and Locality at Multiple Scales [11.210266084524998]
  本稿では、畳み込みニューラルネットワーク(CNN)を成功させた、サポートベクターマシン(SVM)に組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-09-27T04:02:43Z)
• Greedy Network Enlarging [53.319011626986004]
  本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。 異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。 GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
  論文  参考訳（メタデータ） (2021-07-31T08:36:30Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing [4.4886210896619945]
  本稿では,トレーニング中の計算コストの高い行列操作を回避する改良型RVFLネットワークを提案する。 提案手法は,UCI Machine Learning Repositoryから取得したデータセットの集合に対して,最先端の精度を達成した。
  論文  参考訳（メタデータ） (2021-06-17T21:17:17Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Learning Sparse & Ternary Neural Networks with Entropy-Constrained Trained Ternarization (EC2T) [17.13246260883765]
  ディープニューラルネットワーク(DNN)は、さまざまな機械学習アプリケーションで顕著な成功を収めている。 近年,資源に制約のあるデバイスにDNNを配置することへの関心が高まっている。 本稿では,スパースニューラルネットワークと3次ニューラルネットワークの汎用フレームワークであるEntropy-Constrained Trained Ternarization (EC2T)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T15:38:00Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。