論文の概要: LightLayers: Parameter Efficient Dense and Convolutional Layers for Image Classification

• arxiv url: http://arxiv.org/abs/2101.02268v1
• Date: Wed, 6 Jan 2021 21:18:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 01:34:24.330553
• Title: LightLayers: Parameter Efficient Dense and Convolutional Layers for Image Classification
• Title（参考訳）: LightLayers:画像分類のためのパラメータ効率の良いDenseと畳み込み層
• Authors: Debesh Jha, Anis Yazidi, Michael A. Riegler, Dag Johansen, H{\aa}vard D. Johansen, and P{\aa}l Halvorsen
• Abstract要約: 深層ニューラルネットワーク(DNN)における訓練可能なパラメータ数を削減する方法であるLightLayersを提案する。 提案された光層はlightdense層とlightconv2d層で構成され、通常のconv2d層と同等の効率だがパラメータは少ない。 我々は,dnnモデルの複雑さを低減し,計算能力の少ない軽量なdnnモデルを実現するため,精度を損なうことなく行列分解を行う。
• 参考スコア（独自算出の注目度）: 5.187228515420854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Neural Networks (DNNs) have become the de-facto standard in computer vision, as well as in many other pattern recognition tasks. A key drawback of DNNs is that the training phase can be very computationally expensive. Organizations or individuals that cannot afford purchasing state-of-the-art hardware or tapping into cloud-hosted infrastructures may face a long waiting time before the training completes or might not be able to train a model at all. Investigating novel ways to reduce the training time could be a potential solution to alleviate this drawback, and thus enabling more rapid development of new algorithms and models. In this paper, we propose LightLayers, a method for reducing the number of trainable parameters in deep neural networks (DNN). The proposed LightLayers consists of LightDense andLightConv2D layer that are as efficient as regular Conv2D and Dense layers, but uses less parameters. We resort to Matrix Factorization to reduce the complexity of the DNN models resulting into lightweight DNNmodels that require less computational power, without much loss in the accuracy. We have tested LightLayers on MNIST, Fashion MNIST, CI-FAR 10, and CIFAR 100 datasets. Promising results are obtained for MNIST, Fashion MNIST, CIFAR-10 datasets whereas CIFAR 100 shows acceptable performance by using fewer parameters.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや他の多くのパターン認識タスクにおいてデファクトスタンダードになっている。 DNNの重要な欠点は、トレーニングフェーズが非常に計算コストが高いことだ。 最先端のハードウェアを購入したり、クラウドにホストされたインフラストラクチャを利用する余裕のない組織や個人は、トレーニングが完了するまで長い待ち時間に直面したり、モデルをトレーニングできない場合があります。 トレーニング時間を短縮する新しい方法を調査することは、この欠点を緩和し、新しいアルゴリズムとモデルのより迅速な開発を可能にする潜在的な解決策となる。 本稿では,ディープニューラルネットワーク(dnn)における学習可能なパラメータ数を削減する手法であるlightlayersを提案する。 提案された光層はlightdense層とlightconv2d層で構成され、通常のconv2d層と同等の効率だがパラメータは少ない。 我々は,dnnモデルの複雑さを低減し,計算能力の少ない軽量なdnnモデルを実現するため,精度を損なうことなく行列分解を行う。 MNIST、Fashion MNIST、CI-FAR 10、CIFAR 100データセット上でLightLayersをテストしました。 MNIST, Fashion MNIST, CIFAR-10 データセットに対して, CIFAR 100 はパラメータが少なくて許容できる性能を示した。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• An Exact Mapping From ReLU Networks to Spiking Neural Networks [3.1701886344065255]
  本稿では,Rectified Linear Units (ReLUs) を用いたネットワークから,ニューロン毎のスパイクを正確に1回発射するSNNへの正確なマッピングを提案する。 より一般的には、任意の深部ReLUネットワークが、パフォーマンスを失うことなく、エネルギー効率のよい単一スパイクニューラルネットワークに置き換えられることを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:31:09Z)
• NoiSER: Noise is All You Need for Enhancing Low-Light Images Without Task-Related Data [103.04999391668753]
  タスク関連のトレーニングデータなしで、低照度画像を拡張できることが示される。 技術的には、アンダーラインノイズと呼ばれる新しい、魔法的で、効果的で効率的な方法を提案する。 我々のNoiSERは、量的および視覚的な結果の観点から、現在のタスク関連データに基づくLLIEモデルと非常に競合しています。
  論文  参考訳（メタデータ） (2022-11-09T06:18:18Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Can Deep Neural Networks be Converted to Ultra Low-Latency Spiking Neural Networks? [3.2108350580418166]
  スパイクニューラルネットワーク(SNN)は、時間とともに分散されたバイナリスパイクを介して動作する。 SNNのためのSOTAトレーニング戦略は、非スパイキングディープニューラルネットワーク(DNN)からの変換を伴う そこで本研究では,DNNと変換SNNの誤差を最小限に抑えながら,これらの分布を正確にキャプチャする新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-22T18:47:45Z)
• Pixel Difference Networks for Efficient Edge Detection [71.03915957914532]
  本稿では,Pixel Difference Network (PiDiNet) という軽量かつ効率的なエッジ検出アーキテクチャを提案する。 BSDS500、NYUD、Multicueのデータセットに関する大規模な実験が、その効果を示すために提供されている。 0.1M未満のパラメータを持つPiDiNetのより高速なバージョンは、200FPSのアーティファクトで同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2021-08-16T10:42:59Z)
• DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks [8.746046482977434]
  DIET-SNNは、膜漏れと発射閾値を最適化するために勾配降下で訓練された低深さスパイクネットワークである。 我々は,VGGおよびResNetアーキテクチャ上のCIFARおよびImageNetデータセットから画像分類タスクのDIET-SNNを評価する。 我々は、ImageNetデータセット上の5つのタイムステップ(推論レイテンシ)でトップ1の精度を69%達成し、同等の標準ANNよりも12倍少ない計算エネルギーを実現した。
  論文  参考訳（メタデータ） (2020-08-09T05:07:17Z)
• Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation [10.972663738092063]
  Spiking Neural Networks(SNN)は非同期離散イベント(スパイク)で動作する 本稿では,深層SNNのための計算効率のよいトレーニング手法を提案する。 我々は、SNN上のImageNetデータセットの65.19%のトップ1精度を250タイムステップで達成し、同様の精度で変換されたSNNに比べて10倍高速である。
  論文  参考訳（メタデータ） (2020-05-04T19:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。