論文の概要: Predictive Exit: Prediction of Fine-Grained Early Exits for Computation-
and Energy-Efficient Inference
- arxiv url: http://arxiv.org/abs/2206.04685v1
- Date: Thu, 9 Jun 2022 04:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 16:05:15.187716
- Title: Predictive Exit: Prediction of Fine-Grained Early Exits for Computation-
and Energy-Efficient Inference
- Title（参考訳）: 予測エグジット:計算とエネルギー効率予測のための細粒度初期エグジットの予測
- Authors: Xiangjie Li, Chenfei Lou, Zhengping Zhu, Yuchi Chen, Yingtao Shen,
Yehan Ma, An Zou
- Abstract要約: 本稿では,計算・エネルギー効率の高いディープラーニングアプリケーションのための予測エクイットフレームワークを提案する。
予測指数は従来のディープラーニングネットワークと比較して96.2%の削減と72.9%の省エネを実現している。
- 参考スコア（独自算出の注目度）: 5.8341202224594895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By adding exiting layers to the deep learning networks, early exit can
terminate the inference earlier with accurate results. The passive
decision-making of whether to exit or continue the next layer has to go through
every pre-placed exiting layer until it exits. In addition, it is also hard to
adjust the configurations of the computing platforms alongside the inference
proceeds. By incorporating a low-cost prediction engine, we propose a
Predictive Exit framework for computation- and energy-efficient deep learning
applications. Predictive Exit can forecast where the network will exit (i.e.,
establish the number of remaining layers to finish the inference), which
effectively reduces the network computation cost by exiting on time without
running every pre-placed exiting layer. Moreover, according to the number of
remaining layers, proper computing configurations (i.e., frequency and voltage)
are selected to execute the network to further save energy. Extensive
experimental results demonstrate that Predictive Exit achieves up to 96.2%
computation reduction and 72.9% energy-saving compared with classic deep
learning networks; and 12.8% computation reduction and 37.6% energy-saving
compared with the early exit under state-of-the-art exiting strategies, given
the same inference accuracy and latency.
- Abstract（参考訳）: ディープラーニングネットワークにエグジット層を追加することで、早期エグジットは正確な結果で推論を早期に終了することができる。
次のレイヤを出るか、継続するかのパッシブな意思決定は、そのレイヤが終了するまで、すべての既定のエグジット層を通過する必要がある。
さらに、推論の進行とともに、コンピューティングプラットフォームの構成を調整することも困難である。
低コストな予測エンジンを導入し,計算・エネルギー効率の高いディープラーニングアプリケーションのための予測エクイットフレームワークを提案する。
Predictive Exitは、ネットワークが終了する場所を予測できる(つまり、推論を終了するために残りのレイヤ数を確立する)ため、事前に配置されたすべての出口層を走らせることなく、時間通りに終了することで、ネットワーク計算コストを効果的に削減できる。
さらに、残りの層数に応じて、適切な計算構成(周波数と電圧)を選択して、ネットワークを実行してエネルギーを節約する。
広範な実験の結果、予測出口は従来のディープラーニングネットワークと比較して96.2%の計算削減と72.9%の省エネを達成し、12.8%の計算削減と37.6%の省エネを達成した。
関連論文リスト
- Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳（メタデータ） (2024-04-01T00:21:11Z) - Hierarchical Forecasting at Scale [55.658563862299495]
既存の階層予測技術は、時系列の数が増加するとスケールが低下する。
我々は,1つのボトムレベル予測モデルを用いて,数百万の時系列のコヒーレントな予測を学習することを提案する。
欧州の大規模なeコマースプラットフォームであるbolの既存の予測モデルにおいて、スパース階層的損失関数を実装した。
論文 参考訳（メタデータ） (2023-10-19T15:06:31Z) - Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar
Data Processing [4.359030177348051]
本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。
以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。
このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
論文 参考訳（メタデータ） (2023-09-11T12:38:01Z) - Efficient Traffic State Forecasting using Spatio-Temporal Network
Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。
現在の研究では、長期的な交通予測(30分以上)は依然として難しい。
予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
論文 参考訳（メタデータ） (2022-11-06T05:41:39Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳（メタデータ） (2022-10-10T17:52:47Z) - Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。
具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。
通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
論文 参考訳（メタデータ） (2022-06-15T03:14:21Z) - Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。
弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
論文 参考訳（メタデータ） (2021-09-27T17:11:25Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。
有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。
これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文 参考訳（メタデータ） (2020-06-06T09:36:07Z) - Accelerating Deep Learning Inference via Freezing [8.521443408415868]
本稿では,各中間層に近似キャッシュを導入するフリーズ推論を提案する。
これにより、ResNet-18上で実行されるCIFAR-10リクエストの91.58%に対して、有効レイヤの数を半分に削減できる可能性がある。
論文 参考訳（メタデータ） (2020-02-07T07:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。