論文の概要: SIMCNN -- Exploiting Computational Similarity to Accelerate CNN Training in Hardware

• arxiv url: http://arxiv.org/abs/2110.14904v1
• Date: Thu, 28 Oct 2021 06:08:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-29 16:04:35.823773
• Title: SIMCNN -- Exploiting Computational Similarity to Accelerate CNN Training in Hardware
• Title（参考訳）: SIMCNN -- ハードウェアにおけるCNNトレーニングの高速化と計算的類似性の爆発
• Authors: Vahid Janfaza, Kevin Weston, Moein Razavi, Shantanu Mandal, Abdullah Muzahid
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、訓練に重きを置く計算である。 ハードウェアアクセラレーターにおけるCNNトレーニングにおける計算の類似性を生かした局所性感度ハッシュ(LSH)に基づく新しい手法を提案する。 SIMCNNは、ハードウェアにおけるCNNトレーニングの加速に計算的類似性を利用する最初の作品である。
• 参考スコア（独自算出の注目度）: 0.8481798330936976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolution neural networks (CNN) are computation intensive to train. It consists of a substantial number of multidimensional dot products between many kernels and inputs. We observe that there are notable similarities among the vectors extracted from inputs (i.e., input vectors). If one input vector is similar to another one, its computations with the kernels are also similar to those of the other and therefore, can be skipped by reusing the already-computed results. Based on this insight, we propose a novel scheme based on locality sensitive hashing (LSH) to exploit the similarity of computations during CNN training in a hardware accelerator. The proposed scheme, called SIMCNN, uses a cache (SIMCACHE) to store LSH signatures of recent input vectors along with the computed results. If the LSH signature of a new input vector matches with that of an already existing vector in the SIMCACHE, the already-computed result is reused for the new vector. SIMCNN is the first work that exploits computational similarity for accelerating CNN training in hardware. The paper presents a detailed design, workflow, and implementation of SIMCNN. Our experimental evaluation with four different deep learning models shows that SIMCNN saves a significant number of computations and therefore, improves training time up to 43%.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnn)は、トレーニングに集約的な計算を行う。 これは多くのカーネルと入力の間のかなりの数の多次元ドット積からなる。 入力ベクトル(すなわち入力ベクトル)から抽出されたベクトルには顕著な類似性がある。 ある入力ベクトルが他方のベクトルと類似している場合、そのカーネルとの計算も他方のベクトルと類似しているため、既に計算済みの結果を再利用することでスキップすることができる。 そこで本研究では,ハードウェアアクセラレーションにおけるCNNトレーニングにおける計算の類似性を生かした局所性感度ハッシュ(LSH)に基づく新しい手法を提案する。 提案方式はSIMCNNと呼ばれ、キャッシュ(SIMCACHE)を用いて最近の入力ベクトルのLSHシグネチャを計算結果とともに格納する。 新しい入力ベクトルのLSHシグネチャがSIMCACHEの既存のベクトルのシグネチャと一致する場合、既に計算済みの結果が新しいベクトルに対して再利用される。 SIMCNNは、ハードウェアにおけるCNNトレーニングの加速に計算的類似性を利用する最初の作品である。 本稿では,SIMCNNの設計,ワークフロー,実装について述べる。 4つの異なるディープラーニングモデルによる実験結果から,SIMCNNは大量の計算を省き,学習時間を最大43%改善することがわかった。

関連論文リスト

• SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks [4.532517021515834]
  Spiking Neural Networks(SNN)は、生物学的にインスパイアされたモデルであり、アクションポテンシャルのストリームで情報を処理できる。 SparsePropはスパースSNNをシミュレートし、訓練するための新しいイベントベースアルゴリズムである。
  論文  参考訳（メタデータ） (2023-12-28T18:48:10Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• DNN Training Acceleration via Exploring GPGPU Friendly Sparsity [16.406482603838157]
  本稿では、従来のランダムなニューロンやシナプスのドロップアウトを、通常のオンラインの行ベースもしくはタイルベースのドロップアウトパターンに置き換える近似ランダムドロップアウトを提案する。 次に,SGDに基づく探索アルゴリズムを開発し,行ベースあるいはタイルベースのドロップアウトパターンの分布を生成し,潜在的な精度損失を補う。 また,入力特徴図をその感度に基づいて動的にドロップアウトし,前向きおよび後向きのトレーニングアクセラレーションを実現するための感度対応ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2022-03-11T01:32:03Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Using Machine Learning for Particle Track Identification in the CLAS12 Detector [0.0]
  本稿では、有効なトラック候補を特定することによって、トラッキングを支援する4つの機械学習(ML)モデルの開発について述べる。 CLAS12再構成ソフトウェアの一部として、推奨トラック候補を持つアルゴリズムが実装された。 その結果、ソフトウェアは99%以上の精度を達成し、既存のアルゴリズムと比較してエンドツーエンドのスピードアップは35%になった。
  論文  参考訳（メタデータ） (2020-08-28T21:57:38Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。