論文の概要: PTEENet: Post-Trained Early-Exit Neural Networks Augmentation for Inference Cost Optimization

• arxiv url: http://arxiv.org/abs/2501.02508v1
• Date: Sun, 05 Jan 2025 11:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:09:50.729635
• Title: PTEENet: Post-Trained Early-Exit Neural Networks Augmentation for Inference Cost Optimization
• Title（参考訳）: PTEENet:推論コスト最適化のための事前学習ニューラルネットワークの拡張
• Authors: Assaf Lahiany, Yehudit Aperstein,
• Abstract要約: 本稿では,DNNフィードフォワード推論プロセスに「ショートカット」を導入する手法について述べる。 提案手法は、前述した BranchyNet (Teerapittayanon et al., 2016) とEEnet (Demir, 2016) アーキテクチャに基づいて、メインネットワークとアーリーエグジットブランチを共同でトレーニングする。 これらの信頼度拡張の調整しきい値を定義することで、各ブランチから流出するデータの量と、モデルの速度と精度の全体的なトレードオフをリアルタイムで制御できる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: For many practical applications, a high computational cost of inference over deep network architectures might be unacceptable. A small degradation in the overall inference accuracy might be a reasonable price to pay for a significant reduction in the required computational resources. In this work, we describe a method for introducing "shortcuts" into the DNN feedforward inference process by skipping costly feedforward computations whenever possible. The proposed method is based on the previously described BranchyNet (Teerapittayanon et al., 2016) and the EEnet (Demir, 2019) architectures that jointly train the main network and early exit branches. We extend those methods by attaching branches to pre-trained models and, thus, eliminating the need to alter the original weights of the network. We also suggest a new branch architecture based on convolutional building blocks to allow enough training capacity when applied on large DNNs. The proposed architecture includes confidence heads that are used for predicting the confidence level in the corresponding early exits. By defining adjusted thresholds on these confidence extensions, we can control in real-time the amount of data exiting from each branch and the overall tradeoff between speed and accuracy of our model. In our experiments, we evaluate our method using image datasets (SVHN and CIFAR10) and several DNN architectures (ResNet, DenseNet, VGG) with varied depth. Our results demonstrate that the proposed method enables us to reduce the average inference computational cost and further controlling the tradeoff between the model accuracy and the computation cost.
• Abstract（参考訳）: 多くの実用的なアプリケーションにとって、ディープネットワークアーキテクチャよりも高い計算コストの推論は受け入れられないかもしれない。 全体としての推測精度の低下は、必要な計算資源の大幅な削減のために支払うのに妥当な価格かもしれない。 本稿では,DNNフィードフォワード推論プロセスに「ショートカット」を導入する手法について述べる。 提案手法は、前述した BranchyNet (Teerapittayanon et al , 2016) と EEnet (Demir, 2019) アーキテクチャに基づいて、メインネットワークとアーリーエグジットブランチを共同でトレーニングする。 プレトレーニングされたモデルにブランチをアタッチすることで、これらの手法を拡張し、ネットワークのもともとの重みを変更する必要をなくす。 また,大規模なDNNに適用した場合に十分なトレーニング能力を得るために,畳み込み構造に基づく新しい分岐アーキテクチャを提案する。 提案アーキテクチャは、対応する早期出口の信頼度を予測するために使用される信頼ヘッドを含む。 これらの信頼度拡張の調整しきい値を定義することで、各ブランチから流出するデータの量と、モデルの速度と精度の全体的なトレードオフをリアルタイムで制御できる。 本研究では,画像データセット (SVHN と CIFAR10) と DNN アーキテクチャ (ResNet, DenseNet, VGG) を多種多様な深度で評価した。 本研究では,提案手法により,平均推定計算コストを削減し,モデル精度と計算コストとのトレードオフを制御できることを実証した。

関連論文リスト

• Early-exit Convolutional Neural Networks [10.320641540183198]
  EENetsは、特定の出口で推論処理を停止させることにより、入力に基づいて計算コストを適応させる。 EENetは、計算コストを元の20%に削減しながら、EE以外のバージョンと同じような精度を達成する。
  論文  参考訳（メタデータ） (2024-09-09T05:29:38Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
  我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。 我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
  論文  参考訳（メタデータ） (2022-02-09T10:58:50Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• Efficient Computation Reduction in Bayesian Neural Networks Through Feature Decomposition and Memorization [10.182119276564643]
  本稿では,計算コストを削減するため,効率的なBNN推論フローを提案する。 計算の約半分は従来の手法と比べて取り除くことができる。 We implement our approach in Verilog and synthesise it with 45 $nm$ FreePDK technology。
  論文  参考訳（メタデータ） (2020-05-08T05:03:04Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。