論文の概要: Early-exit Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2409.05336v1
• Date: Mon, 9 Sep 2024 05:29:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:50:59.569701
• Title: Early-exit Convolutional Neural Networks
• Title（参考訳）: 早期の畳み込みニューラルネットワーク
• Authors: Edanur Demir, Emre Akbas,
• Abstract要約: EENetsは、特定の出口で推論処理を停止させることにより、入力に基づいて計算コストを適応させる。 EENetは、計算コストを元の20%に削減しながら、EE以外のバージョンと同じような精度を達成する。
• 参考スコア（独自算出の注目度）: 10.320641540183198
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper is aimed at developing a method that reduces the computational cost of convolutional neural networks (CNN) during inference. Conventionally, the input data pass through a fixed neural network architecture. However, easy examples can be classified at early stages of processing and conventional networks do not take this into account. In this paper, we introduce 'Early-exit CNNs', EENets for short, which adapt their computational cost based on the input by stopping the inference process at certain exit locations. In EENets, there are a number of exit blocks each of which consists of a confidence branch and a softmax branch. The confidence branch computes the confidence score of exiting (i.e. stopping the inference process) at that location; while the softmax branch outputs a classification probability vector. Both branches are learnable and their parameters are separate. During training of EENets, in addition to the classical classification loss, the computational cost of inference is taken into account as well. As a result, the network adapts its many confidence branches to the inputs so that less computation is spent for easy examples. Inference works as in conventional feed-forward networks, however, when the output of a confidence branch is larger than a certain threshold, the inference stops for that specific example. The idea of EENets is applicable to available CNN architectures such as ResNets. Through comprehensive experiments on MNIST, SVHN, CIFAR10 and Tiny-ImageNet datasets, we show that early-exit (EE) ResNets achieve similar accuracy with their non-EE versions while reducing the computational cost to 20% of the original. Code is available at https://github.com/eksuas/eenets.pytorch
• Abstract（参考訳）: 本稿では,推論中の畳み込みニューラルネットワーク(CNN)の計算コストを削減する手法を提案する。 従来、入力データは、固定されたニューラルネットワークアーキテクチャを通過する。 しかし、簡単な例は処理の初期段階で分類でき、従来のネットワークでは考慮していない。 本稿では、入力に基づいて計算コストを適応させる「Early-exit CNNs」(略してEENets)を紹介する。 EENetsには複数のエグジットブロックがあり、それぞれが信頼性ブランチとソフトマックスブランチで構成されている。 信頼ブランチは、その位置での出口(つまり推論プロセスの停止)の信頼スコアを計算し、ソフトマックスブランチは分類確率ベクトルを出力する。 両方のブランチは学習可能で、パラメータは分離される。 EENetsのトレーニングでは、古典的な分類損失に加えて、推論の計算コストも考慮される。 結果として、ネットワークは多くの信頼性分岐を入力に適応させ、簡単な例では少ない計算に費やされる。 推論は従来のフィードフォワードネットワークと同様に機能するが、信頼分岐の出力が特定の閾値より大きい場合、推論はその特定の例で停止する。 EENetsの考え方はResNetsのような利用可能なCNNアーキテクチャに適用できる。 MNIST、SVHN、CIFAR10、Tiny-ImageNetのデータセットに関する総合的な実験を通して、アーリーエグジット(EE) ResNetは、非EEバージョンと同様の精度を達成し、計算コストを20%まで削減することを示した。 コードはhttps://github.com/eksuas/eenets.pytorchで入手できる。

関連論文リスト

• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• SplitEE: Early Exit in Deep Neural Networks with Split Computing [0.0]
  ディープニューラルネットワーク(DNN)は、様々なタスクにおける優れたパフォーマンスのために注目を集めている。 リソース制約のあるデバイスに本格的なDNNをデプロイするのは、そのサイズが大きいため難しい。 分割計算における早期出口を用いた2つの手法の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-09-17T07:48:22Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Training and Inference for Integer-Based Semantic Segmentation Network [18.457074855823315]
  セグメンテーションネットワークのトレーニングと推論のための新しい量子化フレームワークを提案する。 我々のフレームワークはFCN-VGG16やDeepLabv3-ResNet50のような主流セマンティックセマンティクスネットワークで評価されている。
  論文  参考訳（メタデータ） (2020-11-30T02:07:07Z)
• Add a SideNet to your MainNet [0.0]
  そこで我々は、SideNetと呼ぶ小さな分類層をMainNetと呼ぶ大規模な事前学習ネットワークにアタッチすることで、適応的なネットワーク複雑性を実現する手法を開発した。 入力が与えられた場合、SideNetは、その信頼性レベルがユーザ決定しきい値を超え、信頼度が低すぎる場合にのみ大きなMainNetに渡す。 実験結果から,プレトレーニング済みのResNetとBERT MainNetに加えられた単純な単一層パーセプトロン・サイドネットは,画像やテキストの分類タスクのパフォーマンスを最小限に抑えることができることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:25:32Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。