論文の概要: Optimizing Convolutional Neural Network Architecture

• arxiv url: http://arxiv.org/abs/2401.01361v1
• Date: Sun, 17 Dec 2023 12:23:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 10:08:59.401592
• Title: Optimizing Convolutional Neural Network Architecture
• Title（参考訳）: 畳み込みニューラルネットワークアーキテクチャの最適化
• Authors: Luis Balderas, Miguel Lastra and Jos\'e M. Ben\'itez
• Abstract要約: 畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。 我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。 提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Convolutional Neural Networks (CNN) are widely used to face challenging tasks like speech recognition, natural language processing or computer vision. As CNN architectures get larger and more complex, their computational requirements increase, incurring significant energetic costs and challenging their deployment on resource-restricted devices. In this paper, we propose Optimizing Convolutional Neural Network Architecture (OCNNA), a novel CNN optimization and construction method based on pruning and knowledge distillation designed to establish the importance of convolutional layers. The proposal has been evaluated though a thorough empirical study including the best known datasets (CIFAR-10, CIFAR-100 and Imagenet) and CNN architectures (VGG-16, ResNet-50, DenseNet-40 and MobileNet), setting Accuracy Drop and Remaining Parameters Ratio as objective metrics to compare the performance of OCNNA against the other state-of-art approaches. Our method has been compared with more than 20 convolutional neural network simplification algorithms obtaining outstanding results. As a result, OCNNA is a competitive CNN constructing method which could ease the deployment of neural networks into IoT or resource-limited devices.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。 CNNアーキテクチャがより大きく複雑になるにつれて、その計算要求は増加し、かなりのエネルギーコストが発生し、リソース制限されたデバイスへのデプロイメントに挑戦する。 本稿では,畳み込みと知識蒸留に基づく新しいcnn最適化手法である畳み込みニューラルネットワークアーキテクチャ(ocnna)を提案する。 この提案は、最もよく知られたデータセット(CIFAR-10、CIFAR-100、Imagenet)とCNNアーキテクチャ(VGG-16、ResNet-50、DenseNet-40、MobileNet)、精度低下とパラメータの保持率を客観的な指標として設定し、OCNNAと他の最先端のアプローチと比較する、徹底的な実証研究として評価されている。 本手法は20以上の畳み込みニューラルネットワーク簡易化アルゴリズムと比較され,優れた結果を得た。 その結果、OCNNAは、IoTやリソース制限されたデバイスへのニューラルネットワークのデプロイを容易にする、競争力のあるCNN構築方法である。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for Event-Based Vision [64.71260357476602]
  イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。 イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。 本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-06T23:45:58Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった 本稿では,現代のスパイク建築の鍵となる構成要素について述べる。 我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
  論文  参考訳（メタデータ） (2021-11-10T21:29:19Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Evolutionary Neural Architecture Search Supporting Approximate Multipliers [0.5414308305392761]
  進化的畳み込みニューラルネットワーク(CNN)のためのカルト的遺伝的プログラミングに基づく多目的NAS法を提案する。 最も適切な近似乗算器は、近似乗算器のライブラリから自動的に選択される。 進化したCNNは、CIFAR-10ベンチマーク問題に類似した複雑さを持つ一般的な人間によるCNNと比較される。
  論文  参考訳（メタデータ） (2021-01-28T09:26:03Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Inferring Convolutional Neural Networks' accuracies from their architectural characterizations [0.0]
  CNNのアーキテクチャと性能の関係について検討する。 本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
  論文  参考訳（メタデータ） (2020-01-07T16:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。