論文の概要: Early-Exit with Class Exclusion for Efficient Inference of Neural Networks

• arxiv url: http://arxiv.org/abs/2309.13443v2
• Date: Sat, 17 Feb 2024 08:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 05:45:09.144939
• Title: Early-Exit with Class Exclusion for Efficient Inference of Neural Networks
• Title（参考訳）: ニューラルネットワークの効率的な推論のためのクラス排除による早期実行
• Authors: Jingcun Wang, Bing Li, Grace Li Zhang
• Abstract要約: ディープニューラルネットワーク(DNN)における動的推論のためのクラスベース早期抽出法を提案する。 これらのレイヤで学んだ機能を活用して、可能な限り多くの無関係なクラスを除外します。 実験により、推論におけるDNNの計算コストを大幅に削減できることを示した。
• 参考スコア（独自算出の注目度）: 4.180653524441411
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks (DNNs) have been successfully applied in various fields. In DNNs, a large number of multiply-accumulate (MAC) operations are required to be performed, posing critical challenges in applying them in resource-constrained platforms, e.g., edge devices. To address this challenge, in this paper, we propose a class-based early-exit for dynamic inference. Instead of pushing DNNs to make a dynamic decision at intermediate layers, we take advantage of the learned features in these layers to exclude as many irrelevant classes as possible, so that later layers only have to determine the target class among the remaining classes. When only one class remains at a layer, this class is the corresponding classification result. Experimental results demonstrate the computational cost of DNNs in inference can be reduced significantly with the proposed early-exit technique. The codes can be found at https://github.com/HWAI-TUDa/EarlyClassExclusion.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は様々な分野に適用されている。 DNNでは、多数の乗算累積(MAC)操作が実行され、エッジデバイスなどのリソース制約のあるプラットフォームに適用する上で重要な課題を提起する。 本稿では,この課題に対処するために,動的推論のためのクラスベースアーリーエクイットを提案する。 中間層で動的決定を行うためにDNNをプッシュするのではなく、これらのレイヤで学んだ機能を活用して、可能な限り多くの無関係なクラスを除外します。 ある層に1つのクラスしか残っていない場合、このクラスは対応する分類結果である。 実験により,提案手法により推論におけるDNNの計算コストを大幅に削減できることを示した。 コードはhttps://github.com/HWAI-TUDa/EarlyClassExclusionにある。

関連論文リスト

• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference [20.564198591600647]
  ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自律運転や医療画像などの重要な応用には、その行動の調査も必要である。 DNNの属性は、DNNの予測と入力の関係を研究することである。
  論文  参考訳（メタデータ） (2023-08-09T07:45:51Z)
• Detecting Novelties with Empty Classes [6.953730499849023]
  我々は、新しいクラスの候補として、異常検出に基づいて、配布外データ(OoD)を検索する。 1)DNNがOoDサンプルを空のクラスに割り当て、2)内部クラスの特徴距離を最小化する2つの損失関数を導入する。
  論文  参考訳（メタデータ） (2023-04-30T19:52:47Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Understanding and Improving Early Stopping for Learning with Noisy Labels [63.0730063791198]
  ディープニューラルネットワーク(DNN)の記憶効果は、多くの最先端のラベルノイズ学習法において重要な役割を担っている。 現在の手法は一般的にDNN全体を考慮して早期停止点を決定する。 我々は、DNNを異なる部分に分割し、この問題に対処するよう徐々に訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-30T07:18:00Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Forest R-CNN: Large-Vocabulary Long-Tailed Object Detection and Instance Segmentation [75.93960390191262]
  我々は、オブジェクトカテゴリ間の関係に関する事前知識を利用して、きめ細かいクラスを粗い親クラスにクラスタリングする。 そこで本研究では,NMS再サンプリング法を提案する。 提案手法はフォレストR-CNNと呼ばれ,ほとんどのオブジェクト認識モデルに適用可能なプラグイン・アンド・プレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2020-08-13T03:52:37Z)
• Many-Class Few-Shot Learning on Multi-Granularity Class Hierarchy [57.68486382473194]
  我々は,教師付き学習とメタ学習の両方において,MCFS(Multi-class few-shot)問題について検討した。 本稿では,クラス階層を事前知識として活用し,粗大な分類器を訓練する。 モデル「メモリ拡張階層分類ネットワーク(MahiNet)」は、各粗いクラスが複数の細かなクラスをカバーできる粗い粒度分類を行う。
  論文  参考訳（メタデータ） (2020-06-28T01:11:34Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。