論文の概要: A Deep Learning Based Cost Model for Automatic Code Optimization
- arxiv url: http://arxiv.org/abs/2104.04955v1
- Date: Sun, 11 Apr 2021 08:32:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 13:44:51.321675
- Title: A Deep Learning Based Cost Model for Automatic Code Optimization
- Title（参考訳）: 自動コード最適化のためのディープラーニングに基づくコストモデル
- Authors: Riyadh Baghdadi, Massinissa Merouani, Mohamed-Hicham Leghettas, Kamel
Abdous, Taha Arbaoui, Karima Benatchba, Saman Amarasinghe
- Abstract要約: 自動コード最適化のための新しいディープラーニングベースのコストモデルを提案する。
Tiramisuコンパイラに統合され、最適なコード変換を選択した。
提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
- 参考スコア（独自算出の注目度）: 0.24629531282150877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enabling compilers to automatically optimize code has been a longstanding
goal for the compiler community. Efficiently solving this problem requires
using precise cost models. These models predict whether applying a sequence of
code transformations reduces the execution time of the program. Building an
analytical cost model to do so is hard in modern x86 architectures due to the
complexity of the microarchitecture. In this paper, we present a novel deep
learning based cost model for automatic code optimization. This model was
integrated in a search method and implemented in the Tiramisu compiler to
select the best code transformations. The input of the proposed model is a set
of simple features representing the unoptimized code and a sequence of code
transformations. The model predicts the speedup expected when the code
transformations are applied. Unlike previous models, the proposed one works on
full programs and does not rely on any heavy feature engineering. The proposed
model has only 16% of mean absolute percentage error in predicting speedups on
full programs. The proposed model enables Tiramisu to automatically find code
transformations that match or are better than state-of-the-art compilers
without requiring the same level of heavy feature engineering required by those
compilers.
- Abstract（参考訳）: コンパイラがコードを自動的に最適化できるようにすることは、コンパイラコミュニティにとって長年の目標だった。
この問題を効率的に解決するには、正確なコストモデルが必要となる。
これらのモデルは、一連のコード変換を適用することでプログラムの実行時間を短縮できるかどうかを予測する。
分析コストモデルの構築は、マイクロアーキテクチャの複雑さのため、現代のx86アーキテクチャでは困難である。
本稿では,自動コード最適化のための深層学習に基づくコストモデルを提案する。
このモデルは検索手法に統合され、Tiramisuコンパイラで実装され、最適なコード変換を選択する。
提案モデルの入力は、最適化されていないコードと一連のコード変換を表す単純な機能のセットである。
モデルはコード変換を適用する際に期待するスピードアップを予測する。
以前のモデルとは異なり、提案されたモデルは完全なプログラムで動作し、重い機能工学に依存しない。
提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
提案されたモデルにより、tiramisuは、そのコンパイラが必要とする重厚な機能エンジニアリングを必要とせずに、最先端のコンパイラにマッチしたり、優れたコード変換を自動的に見つけることができる。
関連論文リスト
- Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - CompilerDream: Learning a Compiler World Model for General Code Optimization [58.87557583347996]
汎用コード最適化のためのモデルベース強化学習手法であるCompilerDreamを紹介する。
最適化パスの固有の特性を正確にシミュレートするコンパイラの世界モデルと、このモデルで訓練されたエージェントから、効率的な最適化戦略を生成する。
さまざまなデータセットを網羅し、LLVMのビルトイン最適化や、値予測とエンドツーエンドコード最適化の両方の設定における最先端メソッドを超越している。
論文 参考訳（メタデータ） (2024-04-24T09:20:33Z) - LOOPer: A Learned Automatic Code Optimizer For Polyhedral Compilers [1.7529897611426233]
ディープラーニングに基づくコストモデルを用いた,最初の多面体自動スケジューリングシステムである LOOPer を紹介する。
大規模なアフィン変換の探索をサポートし、多面体変換の複雑な配列を適用できる。
また、複数のループネストと長方形および非矩形反復領域を持つプログラムの最適化もサポートする。
論文 参考訳（メタデータ） (2024-03-18T07:22:31Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - Large Language Models for Compiler Optimization [22.52765975286403]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。
最適化前後の命令数と最適化コード自体を予測する。
提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳（メタデータ） (2023-09-11T22:11:46Z) - ML-driven Hardware Cost Model for MLIR [1.2987894327817158]
高レベルMLIRのための機械学習に基づくコストモデルを開発した。
MLIRをラ・NLPモデルのテキスト入力として考えることにより、現代のNLP研究からよく知られた技術を適用することができる。
これらのモデルにより,種々のハードウェア特性に対する誤差境界が低く,合理的に優れた推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-02-14T11:32:47Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-05-30T16:55:59Z) - ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking
Inference [70.36083572306839]
本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。
文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。
このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
論文 参考訳（メタデータ） (2022-04-25T06:26:29Z) - MetaTune: Meta-Learning Based Cost Model for Fast and Efficient
Auto-tuning Frameworks [0.0]
本稿では,メタ学習に基づくコストモデルであるMetaTuneを提案する。
このフレームワークは、4つのCNNモデルに対して平均8～13%の予測時間を提供し、同等または低い最適化時間を持ち、クロスプラットフォームのケースでは転送学習を10%上回っている。
論文 参考訳（メタデータ） (2021-02-08T13:59:08Z) - A Learned Performance Model for Tensor Processing Units [5.733911161090224]
本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。
学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。
オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
論文 参考訳（メタデータ） (2020-08-03T17:24:52Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。