論文の概要: PerfSAGE: Generalized Inference Performance Predictor for Arbitrary Deep
Learning Models on Edge Devices
- arxiv url: http://arxiv.org/abs/2301.10999v1
- Date: Thu, 26 Jan 2023 08:59:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 14:01:50.007777
- Title: PerfSAGE: Generalized Inference Performance Predictor for Arbitrary Deep
Learning Models on Edge Devices
- Title（参考訳）: PerfSAGE:エッジデバイス上の任意ディープラーニングモデルのための一般化推論性能予測器
- Authors: Yuji Chai, Devashree Tripathy, Chuteng Zhou, Dibakar Gope, Igor
Fedorov, Ramon Matas, David Brooks, Gu-Yeon Wei, Paul Whatmough
- Abstract要約: 本稿では、任意のDNNliteグラフ上の推論遅延、エネルギー、メモリフットプリントを予測する新しいグラフニューラルネットワークであるPerfSAGEについて述べる。
このデータセットを用いて、PerfSAGEをトレーニングし、すべてのターゲットとモデル検索空間にわたって平均絶対パーセンテージ誤差の5%で最先端の予測精度を示す実験結果を提供する。
- 参考スコア（独自算出の注目度）: 8.272409756443539
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to accurately predict deep neural network (DNN) inference
performance metrics, such as latency, power, and memory footprint, for an
arbitrary DNN on a target hardware platform is essential to the design of DNN
based models. This ability is critical for the (manual or automatic) design,
optimization, and deployment of practical DNNs for a specific hardware
deployment platform. Unfortunately, these metrics are slow to evaluate using
simulators (where available) and typically require measurement on the target
hardware. This work describes PerfSAGE, a novel graph neural network (GNN) that
predicts inference latency, energy, and memory footprint on an arbitrary DNN
TFlite graph (TFL, 2017). In contrast, previously published performance
predictors can only predict latency and are restricted to pre-defined
construction rules or search spaces. This paper also describes the EdgeDLPerf
dataset of 134,912 DNNs randomly sampled from four task search spaces and
annotated with inference performance metrics from three edge hardware
platforms. Using this dataset, we train PerfSAGE and provide experimental
results that demonstrate state-of-the-art prediction accuracy with a Mean
Absolute Percentage Error of <5% across all targets and model search spaces.
These results: (1) Outperform previous state-of-art GNN-based predictors
(Dudziak et al., 2020), (2) Accurately predict performance on accelerators (a
shortfall of non-GNN-based predictors (Zhang et al., 2021)), and (3)
Demonstrate predictions on arbitrary input graphs without modifications to the
feature extractor.
- Abstract（参考訳）: ターゲットハードウェアプラットフォーム上の任意のDNNに対して、レイテンシ、電力、メモリフットプリントなどのディープニューラルネットワーク(DNN)推論パフォーマンスメトリクスを正確に予測する能力は、DNNベースのモデルの設計に不可欠である。
この機能は、特定のハードウェアデプロイメントプラットフォーム向けの実用的なDNNの設計(手動または自動)、最適化、デプロイにおいて重要である。
残念ながら、これらのメトリクスはシミュレータ(利用可能な場所)での評価が遅く、通常はターゲットハードウェアで測定する必要がある。
この研究は、任意のDNN TFliteグラフ(TFL, 2017)上で、推論レイテンシ、エネルギー、メモリフットプリントを予測する新しいグラフニューラルネットワーク(GNN)であるPerfSAGEを説明する。
対照的に、以前に公開されたパフォーマンス予測器は遅延を予測でき、事前に定義された建設ルールや検索スペースに制限される。
本稿では、4つのタスク検索空間からランダムにサンプリングされた134,912個のDNNのEdgeDLPerfデータセットについて述べる。
このデータセットを用いて,すべての対象とモデル検索空間において,平均絶対パーセンテージ誤差が5%の精度で最先端の予測精度を示す実験結果を提供する。
これらの結果は,(1)先行したGNN予測器(Dudziak et al., 2020),(2)加速器の性能を正確に予測する(非GNN予測器(Zhang et al., 2021)),(3)特徴抽出器を変更せずに任意の入力グラフ上での予測を実証する。
関連論文リスト
- RoCP-GNN: Robust Conformal Prediction for Graph Neural Networks in Node-Classification [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの結果を予測する強力なツールとして登場した。
この問題に対処する一つの方法は、事前に定義された確率マージンを持つ真のラベルを含む予測セットを提供することである。
我々は,GNNに対するロバスト・コンフォーマル予測(RoCP-GNN)と呼ばれる新しい手法を提案する。
我々のアプローチはグラフベース半教師付き学習(SSL)の領域における予測の不確実性を定量化しながら、任意の予測的GNNモデルで結果を確実に予測する。
論文 参考訳（メタデータ） (2024-08-25T12:51:19Z) - Anole: Adapting Diverse Compressed Models For Cross-Scene Prediction On Mobile Devices [17.542012577533015]
Anoleは、モバイルデバイス上のローカルDNNモデル推論に対処するための軽量なスキームである。
我々は、さまざまなタイプのモバイルデバイスにAnoleを実装し、無人航空機(UAV)に基づく広範囲なトレース駆動および実世界の実験を行う。
論文 参考訳（メタデータ） (2024-05-09T12:06:18Z) - FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
論文 参考訳（メタデータ） (2024-04-24T03:22:49Z) - Inferring Data Preconditions from Deep Learning Models for Trustworthy
Prediction in Deployment [25.527665632625627]
デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。
従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。
本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T03:47:18Z) - Uncertainty Quantification over Graph with Conformalized Graph Neural
Networks [52.20904874696597]
グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。
GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。
本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
論文 参考訳（メタデータ） (2023-05-23T21:38:23Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - TEP-GNN: Accurate Execution Time Prediction of Functional Tests using
Graph Neural Networks [5.899031548148629]
我々は,TEP-GNNと呼ばれる予測モデルを提案し,精度の高い性能予測が可能であることを実証した。
TEP-GNNは、グラフベースのコード表現アプローチとしてFA-ASTまたはフロー拡張ASTを使用する。
プロジェクト公開リポジトリから抽出した922のテストファイルに基づいて,4つのJavaオープンソースプログラムを用いてTEP-GNNを評価した。
論文 参考訳（メタデータ） (2022-08-25T09:08:32Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - The Surprising Power of Graph Neural Networks with Random Node
Initialization [54.4101931234922]
グラフニューラルネットワーク(GNN)は、関係データ上での表現学習に有効なモデルである。
標準 GNN はその表現力に制限があり、Weisfeiler-Leman グラフ同型(英語版)の能力以外の区別はできない。
本研究では,ランダムノード(RNI)を用いたGNNの表現力の解析を行う。
我々はこれらのモデルが普遍的であることを証明し、GNNが高次特性の計算に頼らない最初の結果である。
論文 参考訳（メタデータ） (2020-10-02T19:53:05Z) - Distance Encoding: Design Provably More Powerful Neural Networks for
Graph Representation Learning [63.97983530843762]
グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。
GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。
より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。
本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
論文 参考訳（メタデータ） (2020-08-31T23:15:40Z) - ProphetNet: Predicting Future N-gram for Sequence-to-Sequence
Pre-training [85.35910219651572]
本稿ではProphetNetと呼ばれる新しいシーケンス・ツー・シーケンス事前学習モデルを提案する。
将来的なn-gram予測という,新たな自己教師型目標を導入している。
我々は,CNN/DailyMail,Gigaword,SQuAD 1.1ベンチマークを用いて,抽象的な要約と質問生成タスクの実験を行った。
論文 参考訳（メタデータ） (2020-01-13T05:12:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。