論文の概要: A Deep Learning Based Cost Model for Automatic Code Optimization
- arxiv url: http://arxiv.org/abs/2104.04955v1
- Date: Sun, 11 Apr 2021 08:32:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 13:44:51.321675
- Title: A Deep Learning Based Cost Model for Automatic Code Optimization
- Title（参考訳）: 自動コード最適化のためのディープラーニングに基づくコストモデル
- Authors: Riyadh Baghdadi, Massinissa Merouani, Mohamed-Hicham Leghettas, Kamel
Abdous, Taha Arbaoui, Karima Benatchba, Saman Amarasinghe
- Abstract要約: 自動コード最適化のための新しいディープラーニングベースのコストモデルを提案する。
Tiramisuコンパイラに統合され、最適なコード変換を選択した。
提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
- 参考スコア（独自算出の注目度）: 0.24629531282150877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enabling compilers to automatically optimize code has been a longstanding
goal for the compiler community. Efficiently solving this problem requires
using precise cost models. These models predict whether applying a sequence of
code transformations reduces the execution time of the program. Building an
analytical cost model to do so is hard in modern x86 architectures due to the
complexity of the microarchitecture. In this paper, we present a novel deep
learning based cost model for automatic code optimization. This model was
integrated in a search method and implemented in the Tiramisu compiler to
select the best code transformations. The input of the proposed model is a set
of simple features representing the unoptimized code and a sequence of code
transformations. The model predicts the speedup expected when the code
transformations are applied. Unlike previous models, the proposed one works on
full programs and does not rely on any heavy feature engineering. The proposed
model has only 16% of mean absolute percentage error in predicting speedups on
full programs. The proposed model enables Tiramisu to automatically find code
transformations that match or are better than state-of-the-art compilers
without requiring the same level of heavy feature engineering required by those
compilers.
- Abstract（参考訳）: コンパイラがコードを自動的に最適化できるようにすることは、コンパイラコミュニティにとって長年の目標だった。
この問題を効率的に解決するには、正確なコストモデルが必要となる。
これらのモデルは、一連のコード変換を適用することでプログラムの実行時間を短縮できるかどうかを予測する。
分析コストモデルの構築は、マイクロアーキテクチャの複雑さのため、現代のx86アーキテクチャでは困難である。
本稿では,自動コード最適化のための深層学習に基づくコストモデルを提案する。
このモデルは検索手法に統合され、Tiramisuコンパイラで実装され、最適なコード変換を選択する。
提案モデルの入力は、最適化されていないコードと一連のコード変換を表す単純な機能のセットである。
モデルはコード変換を適用する際に期待するスピードアップを予測する。
以前のモデルとは異なり、提案されたモデルは完全なプログラムで動作し、重い機能工学に依存しない。
提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
提案されたモデルにより、tiramisuは、そのコンパイラが必要とする重厚な機能エンジニアリングを必要とせずに、最先端のコンパイラにマッチしたり、優れたコード変換を自動的に見つけることができる。
関連論文リスト
- LOOPer: A Learned Automatic Code Optimizer For Polyhedral Compilers [1.7529897611426233]
ディープラーニングに基づくコストモデルを用いた,最初の多面体自動スケジューリングシステムである LOOPer を紹介する。
大規模なアフィン変換の探索をサポートし、多面体変換の複雑な配列を適用できる。
また、複数のループネストと長方形および非矩形反復領域を持つプログラムの最適化もサポートする。
論文 参考訳（メタデータ） (2024-03-18T07:22:31Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
AQLMは、パラメータ毎に3ビット未満に圧縮する場合、精度-vs-モデルサイズで最適である最初のスキームである。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供する。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - Large Language Models for Compiler Optimization [22.52765975286403]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。
最適化前後の命令数と最適化コード自体を予測する。
提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳（メタデータ） (2023-09-11T22:11:46Z) - ML-driven Hardware Cost Model for MLIR [1.2987894327817158]
高レベルMLIRのための機械学習に基づくコストモデルを開発した。
MLIRをラ・NLPモデルのテキスト入力として考えることにより、現代のNLP研究からよく知られた技術を適用することができる。
これらのモデルにより,種々のハードウェア特性に対する誤差境界が低く,合理的に優れた推定値が得られることを示す。
論文 参考訳（メタデータ） (2023-02-14T11:32:47Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳（メタデータ） (2022-05-30T16:55:59Z) - ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking
Inference [70.36083572306839]
本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。
文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。
このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
論文 参考訳（メタデータ） (2022-04-25T06:26:29Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - MetaTune: Meta-Learning Based Cost Model for Fast and Efficient
Auto-tuning Frameworks [0.0]
本稿では,メタ学習に基づくコストモデルであるMetaTuneを提案する。
このフレームワークは、4つのCNNモデルに対して平均8～13%の予測時間を提供し、同等または低い最適化時間を持ち、クロスプラットフォームのケースでは転送学習を10%上回っている。
論文 参考訳（メタデータ） (2021-02-08T13:59:08Z) - A Learned Performance Model for Tensor Processing Units [5.733911161090224]
本稿では,処理ユニット(TPU)インスタンス用のグラフプログラムのコーパスから,パフォーマンスモデルを学習する方法を示す。
学習したモデルでは,2つのタスクにおいて,高度に最適化された分析性能モデルよりも優れていることを示す。
オートチューニングは、TPUへのアクセスが制限されたり、高価な設定で、より高速なプログラムを見つけるのに役立つ。
論文 参考訳（メタデータ） (2020-08-03T17:24:52Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。