論文の概要: NetCut: Real-Time DNN Inference Using Layer Removal

• arxiv url: http://arxiv.org/abs/2101.05363v1
• Date: Wed, 13 Jan 2021 22:02:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 07:51:02.367626
• Title: NetCut: Real-Time DNN Inference Using Layer Removal
• Title（参考訳）: NetCut:レイヤ除去を利用したリアルタイムDNN推論
• Authors: Mehrshad Zandigohar, Deniz Erdogmus, Gunar Schirner
• Abstract要約: TRimmed Networks (TRNs) は、転送学習に使用される事前学習ネットワークの問題固有の特徴を取り除くことに基づいている。 経験的あるいは分析的な遅延推定器に基づく方法論であるNetCutは、アプリケーションの期限を満たせるTRNを提案して再トレーニングするのみである。
• 参考スコア（独自算出の注目度）: 8.762815575594395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning plays a significant role in assisting humans in many aspects of their lives. As these networks tend to get deeper over time, they extract more features to increase accuracy at the cost of additional inference latency. This accuracy-performance trade-off makes it more challenging for Embedded Systems, as resource-constrained processors with strict deadlines, to deploy them efficiently. This can lead to selection of networks that can prematurely meet a specified deadline with excess slack time that could have potentially contributed to increased accuracy. In this work, we propose: (i) the concept of layer removal as a means of constructing TRimmed Networks (TRNs) that are based on removing problem-specific features of a pretrained network used in transfer learning, and (ii) NetCut, a methodology based on an empirical or an analytical latency estimator, which only proposes and retrains TRNs that can meet the application's deadline, hence reducing the exploration time significantly. We demonstrate that TRNs can expand the Pareto frontier that trades off latency and accuracy to provide networks that can meet arbitrary deadlines with potential accuracy improvement over off-the-shelf networks. Our experimental results show that such utilization of TRNs, while transferring to a simpler dataset, in combination with NetCut, can lead to the proposal of networks that can achieve relative accuracy improvement of up to 10.43% among existing off-the-shelf neural architectures while meeting a specific deadline, and 27x speedup in exploration time.
• Abstract（参考訳）: ディープラーニングは、人生の多くの側面において、人間を助ける上で重要な役割を果たす。 これらのネットワークは時間とともに深くなる傾向にあるため、追加の推論レイテンシーのコストで精度を高めるために、より多くの機能を抽出する。 この精度と性能のトレードオフにより、リソース制約の厳しいプロセッサである組み込みシステムでは、効率的なデプロイが困難になる。 これにより、特定の期限を早めに満たすネットワークの選択につながり、余分なslack時間によって、精度向上に寄与する可能性がある。 本研究では, (i) トランスファーラーニングに使用される事前学習ネットワークの問題を除去するTRN(TRimmed Networks) を構築する方法としての層除去の概念と, (ii) アプリケーションの期限を満たすTRNのみを提案して再学習し, 探索時間を著しく短縮する手法であるNetCutを提案する。 TRNがParetoフロンティアを拡張してレイテンシと精度をトレードオフし、任意の期限を満たすネットワークを、オフザシェルフネットワークよりも高い精度で提供できることを実証する。 実験結果から,NetCutと組み合わせて,より単純なデータセットにTRNを移行しながら,特定の期限を満たした状態で,既存のオフザシェルニューラルアーキテクチャで最大10.43%の精度向上を実現し,探索時間の27倍のスピードアップを実現するネットワークを提案することができた。

関連論文リスト

• Direct Training Needs Regularisation: Anytime Optimal Inference Spiking Neural Network [23.434563009813218]
  スパイキングニューラルネットワーク(SNN)は,次世代のニューラルネットワーク(ANN)として認識される 空間時間正規化(STR)と呼ばれる新しい正規化手法を導入する。 STRは各段階におけるスパイクの強さと膜電位の比を調節する。 これは、トレーニング中の空間的および時間的パフォーマンスを効果的にバランスさせ、最終的にはAnytime Optimal Inference (AOI) SNNとなる。
  論文  参考訳（メタデータ） (2024-04-15T15:57:01Z)
• Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
  スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。 本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
  論文  参考訳（メタデータ） (2022-10-10T10:05:00Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
  我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。 トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
  論文  参考訳（メタデータ） (2021-08-20T11:53:05Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Accelerating Deep Learning Inference via Learned Caches [11.617579969991294]
  ディープニューラルネットワーク(DNN)は、現実世界の問題を解決する精度が高いため、複数のドメインで採用が増加しています。 現在の低レイテンシソリューションは、精度のトレードオフや、ワークロードの予測に固有の時間的局所性を利用することができない。 低遅延推論のための学習キャッシュを組み込んだエンドツーエンド予測サービングシステムGATIの設計について述べる。
  論文  参考訳（メタデータ） (2021-01-18T22:13:08Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。