論文の概要: GRANITE: A Graph Neural Network Model for Basic Block Throughput
Estimation
- arxiv url: http://arxiv.org/abs/2210.03894v2
- Date: Tue, 11 Oct 2022 02:01:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 11:18:32.981687
- Title: GRANITE: A Graph Neural Network Model for Basic Block Throughput
Estimation
- Title（参考訳）: GRANITE: 基本ブロックスループット推定のためのグラフニューラルネットワークモデル
- Authors: Ondrej Sykora and Phitchaya Mangpo Phothilimthana and Charith Mendis
and Amir Yazdanbakhsh
- Abstract要約: 異なるマイクロアーキテクチャにわたる基本ブロックのスループットを推定する新しい機械学習モデルを導入する。
結果は、平均テスト誤差6.9%で、基本ブロック性能推定のための新しい最先端技術を確立する。
独立な多層フィードフォワードデコーダネットワークを用いたマルチタスク学習を提案する。
- 参考スコア（独自算出の注目度）: 3.739243122393041
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Analytical hardware performance models yield swift estimation of desired
hardware performance metrics. However, developing these analytical models for
modern processors with sophisticated microarchitectures is an extremely
laborious task and requires a firm understanding of target microarchitecture's
internal structure. In this paper, we introduce GRANITE, a new machine learning
model that estimates the throughput of basic blocks across different
microarchitectures. GRANITE uses a graph representation of basic blocks that
captures both structural and data dependencies between instructions. This
representation is processed using a graph neural network that takes advantage
of the relational information captured in the graph and learns a rich neural
representation of the basic block that allows more precise throughput
estimation. Our results establish a new state-of-the-art for basic block
performance estimation with an average test error of 6.9% across a wide range
of basic blocks and microarchitectures for the x86-64 target. Compared to
recent work, this reduced the error by 1.7% while improving training and
inference throughput by approximately 3.0x. In addition, we propose the use of
multi-task learning with independent multi-layer feed forward decoder networks.
Our results show that this technique further improves precision of all learned
models while significantly reducing per-microarchitecture training costs. We
perform an extensive set of ablation studies and comparisons with prior work,
concluding a set of methods to achieve high accuracy for basic block
performance estimation.
- Abstract（参考訳）: 分析ハードウェアパフォーマンスモデルは、望ましいハードウェアパフォーマンスメトリクスを素早く推定する。
しかし、高度なマイクロアーキテクチャを持つ現代のプロセッサ向けのこれらの分析モデルの開発は、非常に困難な作業であり、ターゲットマイクロアーキテクチャの内部構造をしっかりと理解する必要がある。
本稿では,各種マイクロアーキテクチャにおける基本ブロックのスループットを推定する機械学習モデルであるGRANITEを紹介する。
GRANITEは基本ブロックのグラフ表現を使用し、命令間の構造的およびデータ的依存関係の両方をキャプチャする。
この表現は、グラフでキャプチャされた関係情報を活用するグラフニューラルネットワークを使用して処理され、より正確なスループット推定を可能にする基本ブロックのリッチなニューラルネットワーク表現を学習する。
提案手法は,x86-64ターゲットの様々な基本ブロックおよびマイクロアーキテクチャに対して平均6.9%の誤差で,基本ブロック性能評価のための新しい最先端技術を構築した。
最近の作業と比較して、トレーニングと推論のスループットを約3.0倍改善しながらエラーを1.7%削減した。
さらに,独立した多層フィードフォワードデコーダネットワークを用いたマルチタスク学習を提案する。
その結果,この手法により学習モデルの精度が向上し,マイクロアーキテクチャごとのトレーニングコストが大幅に削減された。
本研究は, アブレーション実験を広範囲に実施し, 先行研究との比較を行い, 基本ブロック性能推定のための高精度な手法のセットを導出する。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Multi-conditioned Graph Diffusion for Neural Architecture Search [8.290336491323796]
本稿では、離散的な条件付きグラフ拡散プロセスを用いて、高性能ニューラルネットワークアーキテクチャを生成するグラフ拡散に基づくNAS手法を提案する。
6つの標準ベンチマークで有望な結果を示し、新しいアーキテクチャとユニークなアーキテクチャを高速に実現します。
論文 参考訳（メタデータ） (2024-03-09T21:45:31Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Precise Learning of Source Code Contextual Semantics via Hierarchical
Dependence Structure and Graph Attention Networks [28.212889828892664]
階層的な依存関係を組み込んだ新しいソースコードモデルを提案する。
本稿では,基本ブロックの構文構造,すなわち対応するASTをソースコードモデルに導入し,十分な情報を提供する。
その結果,本モデルではパラメータのスケールを50%削減し,プログラム分類タスクの精度を4%向上させることができた。
論文 参考訳（メタデータ） (2021-11-20T04:03:42Z) - Using Graph Neural Networks to model the performance of Deep Neural
Networks [2.1151356984322307]
グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。
実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
論文 参考訳（メタデータ） (2021-08-27T20:20:17Z) - Balancing Accuracy and Latency in Multipath Neural Networks [0.09668407688201358]
我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。
本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
論文 参考訳（メタデータ） (2021-04-25T00:05:48Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-02-14T05:28:13Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Learning What to Learn for Video Object Segmentation [157.4154825304324]
本稿では,多様な数発の学習モジュールを統合した,エンドツーエンドのトレーニング可能なVOSアーキテクチャを提案する。
この内部学習器は、ターゲットの強力なパラメトリックモデルを予測するように設計されている。
私たちは、大規模なYouTube-VOS 2018データセットに、総合スコア81.5を達成して、新たな最先端を設定しました。
論文 参考訳（メタデータ） (2020-03-25T17:58:43Z) - Tidying Deep Saliency Prediction Architectures [6.613005108411055]
本稿では,入力特徴,マルチレベル統合,読み出しアーキテクチャ,損失関数の4つの主成分を同定する。
我々はSimpleNet と MDNSal という2つの新しいエンドツーエンドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-10T19:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。