論文の概要: Low-complexity Approximate Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2208.00087v1
- Date: Fri, 29 Jul 2022 21:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:30:31.930767
- Title: Low-complexity Approximate Convolutional Neural Networks
- Title(参考訳): 低複素近似畳み込みニューラルネットワーク
- Authors: R. J. Cintra, S. Duffner, C. Garcia, A. Leite
- Abstract要約: 本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
- 参考スコア(独自算出の注目度): 1.7368964547487395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present an approach for minimizing the computational
complexity of trained Convolutional Neural Networks (ConvNet). The idea is to
approximate all elements of a given ConvNet and replace the original
convolutional filters and parameters (pooling and bias coefficients; and
activation function) with efficient approximations capable of extreme
reductions in computational complexity. Low-complexity convolution filters are
obtained through a binary (zero-one) linear programming scheme based on the
Frobenius norm over sets of dyadic rationals. The resulting matrices allow for
multiplication-free computations requiring only addition and bit-shifting
operations. Such low-complexity structures pave the way for low-power,
efficient hardware designs. We applied our approach on three use cases of
different complexity: (i) a "light" but efficient ConvNet for face detection
(with around 1000 parameters); (ii) another one for hand-written digit
classification (with more than 180000 parameters); and (iii) a significantly
larger ConvNet: AlexNet with $\approx$1.2 million matrices. We evaluated the
overall performance on the respective tasks for different levels of
approximations. In all considered applications, very low-complexity
approximations have been derived maintaining an almost equal classification
performance.
- Abstract(参考訳): 本稿では,学習した畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を近似し、元の畳み込みフィルタとパラメータ(プールとバイアス係数、活性化関数)を計算複雑性を極端に低減できる効率的な近似に置き換えることである。
低複素度畳み込みフィルタは、二進(ゼロワン)線形計画スキームを通じて、二進有理数の集合上のフロベニウスノルムに基づいて得られる。
結果として得られる行列は、加算とビットシフト操作のみを必要とする乗算不要な計算を可能にする。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
複雑さの異なる3つのユースケースにアプローチを適用しました。
i) 顔検出のための「軽い」が効率的なConvNet(約1000のパラメータを含む)
(ii)手書きの数字分類(180000以上のパラメータを有する)のもう1つ、及び
(iii) はるかに大きなConvNet: AlexNetと$\approx$1.2M(120万ドル)の行列。
それぞれのタスクの全体的な性能を,異なるレベルの近似で評価した。
考慮されたすべてのアプリケーションにおいて、ほとんど同じ分類性能を維持した非常に低複雑さ近似が導出された。
関連論文リスト
- Self-concordant Smoothing for Large-Scale Convex Composite Optimization [0.0]
2つの凸関数の和を最小化する自己協和スムージングの概念を導入し、そのうちの1つは滑らかであり、もう1つは非滑らかである。
本稿では, 近位ニュートンアルゴリズムであるProx-N-SCOREと近位一般化したガウスニュートンアルゴリズムであるProx-GGN-SCOREの2つのアルゴリズムの収束性を証明する。
論文 参考訳(メタデータ) (2023-09-04T19:47:04Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳(メタデータ) (2023-08-28T14:19:13Z) - Efficient Convex Algorithms for Universal Kernel Learning [50.877957471649395]
カーネルの理想的な集合: 線形パラメータ化(トラクタビリティ)を認める; すべてのカーネルの集合に密着する(正確性)。
従来のカーネル最適化アルゴリズムは分類に限られており、計算に複雑なセミデフィニティプログラミング(SDP)アルゴリズムに依存していた。
本稿では,従来のSDP手法と比較して計算量を大幅に削減するSVD-QCQPQPアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-15T04:57:37Z) - SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳(メタデータ) (2022-09-13T12:12:19Z) - Optimization-based Block Coordinate Gradient Coding for Mitigating
Partial Stragglers in Distributed Learning [58.91954425047425]
本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。
L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
論文 参考訳(メタデータ) (2022-06-06T09:25:40Z) - Gaussian Elimination versus Greedy Methods for the Synthesis of Linear
Reversible Circuits [0.0]
可逆回路は、量子コンピューティングに多くの応用がある可逆回路のサブクラスを表す。
ガウス除去アルゴリズムの最適化版と調整LU分解を用いて,任意の線形可逆作用素に対する新しいアルゴリズムを提案する。
全体として、我々のアルゴリズムは特定の問題サイズに対する最先端の手法を改善している。
論文 参考訳(メタデータ) (2022-01-17T16:31:42Z) - Statistically Meaningful Approximation: a Case Study on Approximating
Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。
回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文 参考訳(メタデータ) (2021-07-28T04:28:55Z) - Berrut Approximated Coded Computing: Straggler Resistance Beyond
Polynomial Computing [34.69732430310801]
本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。
BACCは計算複雑性が低い数値的に安定であることが証明されている。
特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
論文 参考訳(メタデータ) (2020-09-17T14:23:38Z) - WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。
ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-07-26T23:18:38Z) - Minimal Filtering Algorithms for Convolutional Neural Networks [82.24592140096622]
我々は,M=3,5,7,9,11の基本的なフィルタリング操作を実装するための完全並列ハードウェア指向アルゴリズムを開発した。
各ケースにおける提案アルゴリズムの完全な並列ハードウェア実装は、組込み乗算器の数を約30%削減する。
論文 参考訳(メタデータ) (2020-04-12T13:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。