論文の概要: ThreshNet: An Efficient DenseNet using Threshold Mechanism to Reduce Connections

• arxiv url: http://arxiv.org/abs/2201.03013v1
• Date: Sun, 9 Jan 2022 13:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-11 16:03:01.386129
• Title: ThreshNet: An Efficient DenseNet using Threshold Mechanism to Reduce Connections
• Title（参考訳）: ThreshNet:Thresholdメカニズムによるコネクション削減による効率的なDenseNet
• Authors: Rui-Yang Ju, Ting-Yu Lin, Jia-Hao Jian, Jen-Shiun Chiang, Wei-Bin Yang
• Abstract要約: 本稿では,接続の方法をさらに最適化するためのしきい値機構を用いた新しいネットワークアーキテクチャを提案する。 ThreshNetは、DenseNetと比較して最大60%の推論時間を短縮し、トレーニング速度を最大35%高速化し、エラー率を20%削減する。
• 参考スコア（独自算出の注目度）: 1.2542322096299672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the continuous development of neural networks in computer vision tasks, more and more network architectures have achieved outstanding success. As one of the most advanced neural network architectures, DenseNet shortcuts all feature maps to solve the problem of model depth. Although this network architecture has excellent accuracy at low MACs (multiplications and accumulations), it takes excessive inference time. To solve this problem, HarDNet reduces the connections between feature maps, making the remaining connections resemble harmonic waves. However, this compression method may result in decreasing model accuracy and increasing MACs and model size. This network architecture only reduces the memory access time, its overall performance still needs to be improved. Therefore, we propose a new network architecture using threshold mechanism to further optimize the method of connections. Different numbers of connections for different convolutional layers are discarded to compress the feature maps in ThreshNet. The proposed network architecture used three datasets, CIFAR-10, CIFAR-100, and SVHN, to evaluate the performance for image classifications. Experimental results show that ThreshNet achieves up to 60% reduction in inference time compared to DenseNet, and up to 35% faster training speed and 20% reduction in error rate compared to HarDNet on these datasets.
• Abstract（参考訳）: コンピュータビジョンタスクにおけるニューラルネットワークの継続的な開発により、ますます多くのネットワークアーキテクチャが大きな成功を収めている。 最も先進的なニューラルネットワークアーキテクチャの1つとして、DenseNetはモデル深さの問題を解決するために、すべてのフィーチャーマップをショートカットする。 このネットワークアーキテクチャは、低いMAC(乗算と累積)で優れた精度を持つが、過剰な推論時間を要する。 この問題を解決するため、HarDNetは特徴マップ間の接続を削減し、残りの接続は調和波に似ている。 しかし、この圧縮手法はモデル精度を低下させ、MACとモデルサイズを増大させる可能性がある。 このネットワークアーキテクチャはメモリアクセス時間を短縮するだけでなく、全体的なパフォーマンスも改善する必要がある。 そこで本稿では,接続方法をさらに最適化するためのしきい値機構を用いた新しいネットワークアーキテクチャを提案する。 異なる畳み込み層に対する異なる数の接続が破棄され、threshnet の機能マップが圧縮される。 提案したネットワークアーキテクチャでは,CIFAR-10,CIFAR-100,SVHNの3つのデータセットを用いて画像分類の性能評価を行った。 実験の結果,ThreshNetはDenseNetと比較して最大60%の推論時間を短縮し,トレーニング速度を最大35%高速化し,エラー率を20%削減した。

関連論文リスト

• Latency-aware Unified Dynamic Networks for Efficient Image Recognition [72.8951331472913]
  LAUDNetは動的ネットワークの理論的および実用的な効率ギャップを橋渡しするフレームワークである。 3つの主要な動的パラダイム - 適応型計算、動的層スキップ、動的チャネルスキップ - を統合している。 これにより、V100,3090やTX2 GPUのようなプラットフォーム上で、ResNetのようなモデルの遅延を50%以上削減できる。
  論文  参考訳（メタデータ） (2023-08-30T10:57:41Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Connection Reduction Is All You Need [0.10878040851637998]
  実証的な研究によると、畳み込みレイヤの積み重ねだけではネットワークのトレーニングが良くならない。 レイヤを接続する2つの新しいアルゴリズムを提案する。 ShortNet1は、Baselineよりも5%低いテストエラー率と25%速い推論時間を持っている。
  論文  参考訳（メタデータ） (2022-08-02T13:00:35Z)
• TripleNet: A Low Computing Power Platform of Low-Parameter Network [1.2542322096299672]
  TripleNetは、HarDNetとThreshNetをベースにした改良された畳み込みニューラルネットワークである。 HarDNetと比較して、TripleNetのパラメータは66%削減され、精度は18%向上した。
  論文  参考訳（メタデータ） (2022-04-02T21:55:00Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• ThresholdNet: Pruning Tool for Densely Connected Convolutional Networks [2.267411144256508]
  メモリのしきい値電圧の原理に言及した新しいタイプのプルーニングツール「しきい値」を導入する。 この手法は、異なる深さのブロックを異なる方法で接続し、メモリ使用量を減らすために使用される。 実験によると、HarDNetはDenseNetの2倍の速さで、ThresholdNetはHarDNetよりも10%速く、エラー率は10%低い。
  論文  参考訳（メタデータ） (2021-08-28T08:48:31Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
  畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。 提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
  論文  参考訳（メタデータ） (2020-01-02T17:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。