論文の概要: Predictive Exit: Prediction of Fine-Grained Early Exits for Computation-
and Energy-Efficient Inference
- arxiv url: http://arxiv.org/abs/2206.04685v1
- Date: Thu, 9 Jun 2022 04:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 16:05:15.187716
- Title: Predictive Exit: Prediction of Fine-Grained Early Exits for Computation-
and Energy-Efficient Inference
- Title(参考訳): 予測エグジット:計算とエネルギー効率予測のための細粒度初期エグジットの予測
- Authors: Xiangjie Li, Chenfei Lou, Zhengping Zhu, Yuchi Chen, Yingtao Shen,
Yehan Ma, An Zou
- Abstract要約: 本稿では,計算・エネルギー効率の高いディープラーニングアプリケーションのための予測エクイットフレームワークを提案する。
予測指数は従来のディープラーニングネットワークと比較して96.2%の削減と72.9%の省エネを実現している。
- 参考スコア(独自算出の注目度): 5.8341202224594895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By adding exiting layers to the deep learning networks, early exit can
terminate the inference earlier with accurate results. The passive
decision-making of whether to exit or continue the next layer has to go through
every pre-placed exiting layer until it exits. In addition, it is also hard to
adjust the configurations of the computing platforms alongside the inference
proceeds. By incorporating a low-cost prediction engine, we propose a
Predictive Exit framework for computation- and energy-efficient deep learning
applications. Predictive Exit can forecast where the network will exit (i.e.,
establish the number of remaining layers to finish the inference), which
effectively reduces the network computation cost by exiting on time without
running every pre-placed exiting layer. Moreover, according to the number of
remaining layers, proper computing configurations (i.e., frequency and voltage)
are selected to execute the network to further save energy. Extensive
experimental results demonstrate that Predictive Exit achieves up to 96.2%
computation reduction and 72.9% energy-saving compared with classic deep
learning networks; and 12.8% computation reduction and 37.6% energy-saving
compared with the early exit under state-of-the-art exiting strategies, given
the same inference accuracy and latency.
- Abstract(参考訳): ディープラーニングネットワークにエグジット層を追加することで、早期エグジットは正確な結果で推論を早期に終了することができる。
次のレイヤを出るか、継続するかのパッシブな意思決定は、そのレイヤが終了するまで、すべての既定のエグジット層を通過する必要がある。
さらに、推論の進行とともに、コンピューティングプラットフォームの構成を調整することも困難である。
低コストな予測エンジンを導入し,計算・エネルギー効率の高いディープラーニングアプリケーションのための予測エクイットフレームワークを提案する。
Predictive Exitは、ネットワークが終了する場所を予測できる(つまり、推論を終了するために残りのレイヤ数を確立する)ため、事前に配置されたすべての出口層を走らせることなく、時間通りに終了することで、ネットワーク計算コストを効果的に削減できる。
さらに、残りの層数に応じて、適切な計算構成(周波数と電圧)を選択して、ネットワークを実行してエネルギーを節約する。
広範な実験の結果、予測出口は従来のディープラーニングネットワークと比較して96.2%の計算削減と72.9%の省エネを達成し、12.8%の計算削減と37.6%の省エネを達成した。
関連論文リスト
- Accelerated Inference and Reduced Forgetting: The Dual Benefits of
Early-Exit Networks in Continual Learning [29.37826822806214]
アーリーエグジットネットワークは、ネットワークの早い段階で決定を行うことで、素早く予測できるため、時間とリソースを保存できる。
本研究の目的は,早期のネットワークの継続的な学習を探求することである。
本稿では,このバイアスを等しくし,ネットワーク性能を向上させるシンプルな手法であるタスクワイズログ補正(TLC)を提案する。
論文 参考訳(メタデータ) (2024-03-12T08:33:26Z) - Hierarchical Forecasting at Scale [55.658563862299495]
既存の階層予測技術は、時系列の数が増加するとスケールが低下する。
我々は,1つのボトムレベル予測モデルを用いて,数百万の時系列のコヒーレントな予測を学習することを提案する。
欧州の大規模なeコマースプラットフォームであるbolの既存の予測モデルにおいて、スパース階層的損失関数を実装した。
論文 参考訳(メタデータ) (2023-10-19T15:06:31Z) - TransPath: Learning Heuristics For Grid-Based Pathfinding via
Transformers [64.88759709443819]
探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。
私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。
第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
論文 参考訳(メタデータ) (2022-12-22T14:26:11Z) - Efficient Traffic State Forecasting using Spatio-Temporal Network
Dependencies: A Sparse Graph Neural Network Approach [6.203371866342754]
交通ネットワークにおける交通予測は、効果的な交通運営と管理にとって最重要事項である。
現在の研究では、長期的な交通予測(30分以上)は依然として難しい。
予測精度を保ちながら、トレーニングコストに対するスパーストレーニングを提案する。
論文 参考訳(メタデータ) (2022-11-06T05:41:39Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳(メタデータ) (2022-10-10T17:52:47Z) - Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。
具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。
通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
論文 参考訳(メタデータ) (2022-06-15T03:14:21Z) - Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。
前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。
提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
論文 参考訳(メタデータ) (2022-05-13T21:09:41Z) - Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。
弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
論文 参考訳(メタデータ) (2021-09-27T17:11:25Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳(メタデータ) (2021-09-12T23:14:06Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。
有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。
これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文 参考訳(メタデータ) (2020-06-06T09:36:07Z) - Accelerating Deep Learning Inference via Freezing [8.521443408415868]
本稿では,各中間層に近似キャッシュを導入するフリーズ推論を提案する。
これにより、ResNet-18上で実行されるCIFAR-10リクエストの91.58%に対して、有効レイヤの数を半分に削減できる可能性がある。
論文 参考訳(メタデータ) (2020-02-07T07:03:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。