論文の概要: Low-complexity Approximate Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2208.00087v1
- Date: Fri, 29 Jul 2022 21:59:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:30:31.930767
- Title: Low-complexity Approximate Convolutional Neural Networks
- Title（参考訳）: 低複素近似畳み込みニューラルネットワーク
- Authors: R. J. Cintra, S. Duffner, C. Garcia, A. Leite
- Abstract要約: 本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
- 参考スコア（独自算出の注目度）: 1.7368964547487395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present an approach for minimizing the computational
complexity of trained Convolutional Neural Networks (ConvNet). The idea is to
approximate all elements of a given ConvNet and replace the original
convolutional filters and parameters (pooling and bias coefficients; and
activation function) with efficient approximations capable of extreme
reductions in computational complexity. Low-complexity convolution filters are
obtained through a binary (zero-one) linear programming scheme based on the
Frobenius norm over sets of dyadic rationals. The resulting matrices allow for
multiplication-free computations requiring only addition and bit-shifting
operations. Such low-complexity structures pave the way for low-power,
efficient hardware designs. We applied our approach on three use cases of
different complexity: (i) a "light" but efficient ConvNet for face detection
(with around 1000 parameters); (ii) another one for hand-written digit
classification (with more than 180000 parameters); and (iii) a significantly
larger ConvNet: AlexNet with $\approx$1.2 million matrices. We evaluated the
overall performance on the respective tasks for different levels of
approximations. In all considered applications, very low-complexity
approximations have been derived maintaining an almost equal classification
performance.
- Abstract（参考訳）: 本稿では,学習した畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。
この考え方は、与えられたConvNetのすべての要素を近似し、元の畳み込みフィルタとパラメータ(プールとバイアス係数、活性化関数)を計算複雑性を極端に低減できる効率的な近似に置き換えることである。
低複素度畳み込みフィルタは、二進(ゼロワン)線形計画スキームを通じて、二進有理数の集合上のフロベニウスノルムに基づいて得られる。
結果として得られる行列は、加算とビットシフト操作のみを必要とする乗算不要な計算を可能にする。
このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
複雑さの異なる3つのユースケースにアプローチを適用しました。
i) 顔検出のための「軽い」が効率的なConvNet(約1000のパラメータを含む)
(ii)手書きの数字分類(180000以上のパラメータを有する)のもう1つ、及び
(iii) はるかに大きなConvNet: AlexNetと$\approx$1.2M(120万ドル)の行列。
それぞれのタスクの全体的な性能を,異なるレベルの近似で評価した。
考慮されたすべてのアプリケーションにおいて、ほとんど同じ分類性能を維持した非常に低複雑さ近似が導出された。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Transferable Neural Wavefunctions for Solids [5.219568203653524]
これらすべてのバリエーションに対して、1つのアンサッツを最適化する方法を示す。
我々は,LiHの2x2x2スーパーセル上で事前学習したネットワークを3x3x3スーパーセルに転送することに成功した。
論文 参考訳（メタデータ） (2024-05-13T09:59:59Z) - Self-concordant Smoothing for Large-Scale Convex Composite Optimization [0.0]
2つの凸関数の和を最小化する自己協和スムージングの概念を導入し、そのうちの1つは滑らかであり、もう1つは非滑らかである。
本稿では, 近位ニュートンアルゴリズムであるProx-N-SCOREと近位一般化したガウスニュートンアルゴリズムであるProx-GGN-SCOREの2つのアルゴリズムの収束性を証明する。
論文 参考訳（メタデータ） (2023-09-04T19:47:04Z) - SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳（メタデータ） (2022-09-13T12:12:19Z) - Optimization-based Block Coordinate Gradient Coding for Mitigating
Partial Stragglers in Distributed Learning [58.91954425047425]
本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。
L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
論文 参考訳（メタデータ） (2022-06-06T09:25:40Z) - Gaussian Elimination versus Greedy Methods for the Synthesis of Linear
Reversible Circuits [0.0]
可逆回路は、量子コンピューティングに多くの応用がある可逆回路のサブクラスを表す。
ガウス除去アルゴリズムの最適化版と調整LU分解を用いて,任意の線形可逆作用素に対する新しいアルゴリズムを提案する。
全体として、我々のアルゴリズムは特定の問題サイズに対する最先端の手法を改善している。
論文 参考訳（メタデータ） (2022-01-17T16:31:42Z) - Statistically Meaningful Approximation: a Case Study on Approximating
Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。
回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文 参考訳（メタデータ） (2021-07-28T04:28:55Z) - Berrut Approximated Coded Computing: Straggler Resistance Beyond
Polynomial Computing [34.69732430310801]
本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。
BACCは計算複雑性が低い数値的に安定であることが証明されている。
特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
論文 参考訳（メタデータ） (2020-09-17T14:23:38Z) - WrapNet: Neural Net Inference with Ultra-Low-Resolution Arithmetic [57.07483440807549]
ニューラルネットワークをアキュムレータの低分解能(8ビット)加算に適応させ,32ビットのアキュムレータに匹敵する分類精度を実現する手法を提案する。
ソフトウェアプラットフォームとハードウェアプラットフォームの両方において、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2020-07-26T23:18:38Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Minimal Filtering Algorithms for Convolutional Neural Networks [82.24592140096622]
我々は,M=3,5,7,9,11の基本的なフィルタリング操作を実装するための完全並列ハードウェア指向アルゴリズムを開発した。
各ケースにおける提案アルゴリズムの完全な並列ハードウェア実装は、組込み乗算器の数を約30%削減する。
論文 参考訳（メタデータ） (2020-04-12T13:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。