論文の概要: Tensor Yard: One-Shot Algorithm of Hardware-Friendly Tensor-Train
Decomposition for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2108.04029v1
- Date: Mon, 9 Aug 2021 13:31:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-10 15:07:10.868498
- Title: Tensor Yard: One-Shot Algorithm of Hardware-Friendly Tensor-Train
Decomposition for Convolutional Neural Networks
- Title(参考訳): Tensor Yard:畳み込みニューラルネットワークのためのハードウェアフレンドリーなTensor-Train分割の一ショットアルゴリズム
- Authors: Anuar Taskynov, Vladimir Korviakov, Ivan Mazurenko, Yepan Xiong
- Abstract要約: ハードウェアフレンドリーなAscend Neural-Trainを実装したConal Neural Networksを提案する。
これらのアイデアは、310個のNPUデバイス上のモデルを、精度を著しく損なうことなく加速することができる。
例えば、ResNetを14.6%高速化し、トップ-1 ImageNetの精度を0.5に下げる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays Deep Learning became widely used in many economic, technical and
scientific areas of human interest. It is clear that efficiency of solutions
based on Deep Neural Networks should consider not only quality metric for the
target task, but also latency and constraints of target platform design should
be taken into account. In this paper we present novel hardware-friendly
Tensor-Train decomposition implementation for Convolutional Neural Networks
together with Tensor Yard - one-shot training algorithm which optimizes an
order of decomposition of network layers. These ideas allow to accelerate
ResNet models on Ascend 310 NPU devices without significant loss of accuracy.
For example we accelerate ResNet-101 by 14.6% with drop by 0.5 of top-1
ImageNet accuracy.
- Abstract(参考訳): 今日、深層学習は多くの経済的、技術的、科学的な分野において広く使われるようになった。
ディープニューラルネットワークに基づくソリューションの効率性は、対象タスクの品質基準だけでなく、ターゲットプラットフォーム設計のレイテンシや制約も考慮すべきである。
本稿では,畳み込みニューラルネットワークのハードウェアフレンドリなテンソルトレイン分解実装と,ネットワーク層の分解順序を最適化する1ショットトレーニングアルゴリズムであるtensor yardを提案する。
これらのアイデアは、Ascend 310 NPUデバイス上のResNetモデルを、精度を著しく損なうことなく加速することができる。
例えば、ResNet-101を14.6%高速化し、トップ-1 ImageNetの精度の0.5に下げる。
関連論文リスト
- Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳(メタデータ) (2023-09-12T22:28:53Z) - Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。
3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。
これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
論文 参考訳(メタデータ) (2023-08-30T10:57:41Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳(メタデータ) (2023-08-28T14:19:13Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳(メタデータ) (2023-03-16T21:06:13Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳(メタデータ) (2023-02-20T19:36:52Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳(メタデータ) (2022-11-27T19:13:33Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2021-06-18T03:11:15Z) - ResPerfNet: Deep Residual Learning for Regressional Performance Modeling
of Deep Neural Networks [0.16311150636417257]
本稿では,ディープラーニングに基づくResPerfNetを提案する。この手法は,ニューラルネットワークの性能を予測するために,対象プラットフォーム上で得られた代表データセットを用いて残差ニューラルネットワークをトレーニングする。
実験の結果,ResPerfNetは個々のニューラルネットワーク層と,さまざまなプラットフォーム上でのフルネットワークモデルの実行時間を正確に予測できることがわかった。
論文 参考訳(メタデータ) (2020-12-03T03:02:42Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Exploring the Connection Between Binary and Spiking Neural Networks [1.329054857829016]
両立ニューラルネットワークとスパイクニューラルネットワークの訓練における最近のアルゴリズムの進歩を橋渡しする。
極端量子化システムにおけるスパイキングニューラルネットワークのトレーニングは,大規模データセット上でのほぼ完全な精度向上をもたらすことを示す。
論文 参考訳(メタデータ) (2020-02-24T03:46:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。