論文の概要: Learning Independent Program and Architecture Representations for Generalizable Performance Modeling

• arxiv url: http://arxiv.org/abs/2310.16792v1
• Date: Wed, 25 Oct 2023 17:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 13:21:47.810236
• Title: Learning Independent Program and Architecture Representations for Generalizable Performance Modeling
• Title（参考訳）: 汎用パフォーマンスモデリングのための独立プログラムとアーキテクチャ表現の学習
• Authors: Lingda Li, Thomas Flynn, Adolfy Hoisie
• Abstract要約: PerfVecは、新しいディープラーニングベースのパフォーマンスモデリングフレームワークである。 高次元、独立/直交プログラムとマイクロアーキテクチャ表現を学習する。 PerfVecは、命令のパフォーマンスの本質をキャプチャする基盤モデルを生成する。
• 参考スコア（独自算出の注目度）: 0.36832029288386137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes PerfVec, a novel deep learning-based performance modeling framework that learns high-dimensional, independent/orthogonal program and microarchitecture representations. Once learned, a program representation can be used to predict its performance on any microarchitecture, and likewise, a microarchitecture representation can be applied in the performance prediction of any program. Additionally, PerfVec yields a foundation model that captures the performance essence of instructions, which can be directly used by developers in numerous performance modeling related tasks without incurring its training cost. The evaluation demonstrates that PerfVec is more general, efficient, and accurate than previous approaches.
• Abstract（参考訳）: 本稿では,高次元,独立/直交プログラムとマイクロアーキテクチャ表現を学習する,新しいディープラーニングに基づくパフォーマンスモデリングフレームワークperfvecを提案する。 学習したプログラム表現は、任意のマイクロアーキテクチャ上でのパフォーマンスを予測するために使用することができ、同様にプログラムのパフォーマンス予測にもマイクロアーキテクチャ表現を適用することができる。 さらに、perfvecは命令のパフォーマンスエッセンスをキャプチャする基礎モデルを提供しており、トレーニングコストを伴わずに、多数のパフォーマンスモデリング関連のタスクで開発者が直接使用できる。 この評価は、PerfVecが以前のアプローチよりも一般的で効率的で正確であることを示している。

関連論文リスト

• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Accelerating Computer Architecture Simulation through Machine Learning [0.07252027234425332]
  本稿では,機械学習技術を活用したコンピュータアーキテクチャシミュレーションの高速化手法を提案する。 提案モデルは,アプリケーションの性能を予測するために,アプリケーション機能とマイクロアーキテクチャ機能の組み合わせを利用する。 アーキテクチャ探索において大きなスピードアップを提供する機械学習モデルを構築し,評価することで,我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-28T23:00:57Z)
• A Generic Performance Model for Deep Learning in a Distributed Environment [0.7829352305480285]
  本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
  論文  参考訳（メタデータ） (2023-05-19T13:30:34Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Using Graph Neural Networks to model the performance of Deep Neural Networks [2.1151356984322307]
  グラフ表現を取り入れた新しいパフォーマンスモデルを開発した。 実験により,HalideモデルとTVMモデルと比較すると,予測誤差が7:75x,12x減少した。
  論文  参考訳（メタデータ） (2021-08-27T20:20:17Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• How to Design Sample and Computationally Efficient VQA Models [53.65668097847456]
  テキストを確率的プログラムとして表現し,イメージをオブジェクトレベルのシーングラフとして表現することが,これらのデシラタを最も満足していることが判明した。 既存のモデルを拡張して,これらのソフトプログラムとシーングラフを活用して,エンドツーエンドで質問応答ペアをトレーニングします。
  論文  参考訳（メタデータ） (2021-03-22T01:48:16Z)
• A Learned Performance Model for Tensor Processing Units [5.733911161090224]
  本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。 学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。 オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
  論文  参考訳（メタデータ） (2020-08-03T17:24:52Z)
• ProGraML: Graph-based Deep Learning for Program Optimization and Analysis [16.520971531754018]
  本稿では,機械学習のためのグラフベースのプログラム表現であるProGraMLを紹介する。 ProGraMLは平均94.0F1スコアを獲得し、最先端のアプローチを著しく上回っている。 そして、我々のアプローチを2つのハイレベルなタスク - 不均一なデバイスマッピングとプログラム分類 - に適用し、その両方で新しい最先端のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2020-03-23T20:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。