論文の概要: LOOPer: A Learned Automatic Code Optimizer For Polyhedral Compilers

• arxiv url: http://arxiv.org/abs/2403.11522v2
• Date: Fri, 22 Mar 2024 10:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 11:48:40.954179
• Title: LOOPer: A Learned Automatic Code Optimizer For Polyhedral Compilers
• Title（参考訳）: LOOPer: 多面体コンパイラのための学習済みコード最適化ツール
• Authors: Massinissa Merouani, Khaled Afif Boudaoud, Iheb Nassim Aouadj, Nassim Tchoulak, Islem Kara Bernou, Hamza Benyamina, Fatima Benbouzid-Si Tayeb, Karima Benatchba, Hugh Leather, Riyadh Baghdadi,
• Abstract要約: ディープラーニングに基づくコストモデルを用いた,最初の多面体自動スケジューリングシステムである LOOPer を紹介する。 大規模なアフィン変換の探索をサポートし、多面体変換の複雑な配列を適用できる。 また、複数のループネストと長方形および非矩形反復領域を持つプログラムの最適化もサポートする。
• 参考スコア（独自算出の注目度）: 1.7529897611426233
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: While polyhedral compilers have shown success in implementing advanced code transformations, they still have challenges in selecting the most profitable transformations that lead to the best speedups. This has motivated the use of machine learning to build cost models to guide the search for polyhedral optimizations. State-of-the-art polyhedral compilers have demonstrated a viable proof-of-concept of this approach. While such a proof-of-concept has shown promise, it still has significant limitations. State-of-the-art polyhedral compilers that use a deep-learning cost model only support a small subset of affine transformations, limiting their ability to apply complex code transformations. They also only support simple programs that have a single loop nest and a rectangular iteration domain, limiting their applicability to many programs. These limitations significantly impact the generality of such compilers and autoschedulers and put into question the whole approach. In this paper, we introduce LOOPer, the first polyhedral autoscheduler that uses a deep-learning based cost model and covers a large set of affine transformations and programs. It supports the exploration of a large set of affine transformations, allowing the application of complex sequences of polyhedral transformations. It also supports the optimization of programs with multiple loop nests and with rectangular and non-rectangular iteration domains, allowing the optimization of an extensive set of programs. We implement and evaluate LOOPer and show that it achieves speedups over the state-of-the-art. On the Polybench benchmark, LOOPer achieves a geometric mean speedup of 1.59x over Tiramisu. LOOPer also achieves competitive speedups with a geometric mean speedup of 1.34x over Pluto, a state-of-the-art polyhedral compiler that does not use a machine-learning based cost model.
• Abstract（参考訳）: 多面体コンパイラは高度なコード変換の実装に成功しているが、最高のスピードアップにつながる最も利益の高い変換を選択する上ではまだ課題がある。 これは、多面体最適化の探索をガイドするコストモデルを構築するための機械学習の使用を動機付けている。 最先端の多面体コンパイラは、このアプローチの現実的な概念実証を実証している。 このような概念実証は将来性を示しているが、依然として大きな制限がある。 ディープラーニングのコストモデルを使用する最先端の多面体コンパイラは、アフィン変換の小さなサブセットのみをサポートし、複雑なコード変換を適用する能力を制限する。 また、単一のループネストと長方形のイテレーションドメインを持つ単純なプログラムのみをサポートし、多くのプログラムに適用性を制限する。 これらの制限は、そのようなコンパイラやオートスケジューラの一般性に大きな影響を与え、アプローチ全体に疑問を投げかけた。 本稿では,深層学習に基づくコストモデルを用いた最初の多面体自動スケジューリングシステムである LOOPer について紹介する。 大規模なアフィン変換の探索をサポートし、多面体変換の複雑な配列を適用できる。 また、複数のループネストと長方形および非矩形反復領域を持つプログラムの最適化をサポートし、プログラムの広範なセットの最適化を可能にする。 我々は LOOPer の実装と評価を行い,それが最先端技術上での高速化を実現することを示す。 Polybenchベンチマークでは、LOOPerはTiramisu上で1.59倍の幾何平均スピードアップを達成する。 LOOPerはまた、機械学習ベースのコストモデルを使用しない最先端の多面体コンパイラであるPluto上での幾何学平均速度1.34倍の競合的なスピードアップも達成している。

関連論文リスト

• PolyTOPS: Reconfigurable and Flexible Polyhedral Scheduler [1.6673953344957533]
  本稿では,多面体スケジューラであるPolyTOPSを導入する。 PolyTOPSはIllとCLooGをコードジェネレータとして使用しており、MindSporeのディープラーニングコンパイラに統合されている。
  論文  参考訳（メタデータ） (2024-01-12T16:11:27Z)
• PolySketchFormer: Fast Transformers via Sketching Polynomial Kernels [23.99075223506133]
  モデル品質を犠牲にすることなくソフトマックスを効果的に置き換えることができることを示す。 本稿では,因果マスキングを効率的に適用するためのブロックベースアルゴリズムを提案する。 PolySketchFormerAttentionは、長いコンテキストを扱える言語モデルを訓練することで実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-02T21:39:04Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Progress Report: A Deep Learning Guided Exploration of Affine Unimodular Loop Transformations [1.5699353548228476]
  本稿では,多面体コンパイラにおけるコードの自動最適化のための深層学習に基づくアプローチについて検討する。 提案手法は,アフィンループ変換と非アフィンループ変換の組み合わせを探索し,与えられたプログラムの実行時間を最小化する変換列を求める。 予備的な結果から,提案手法は芸術多面体コンパイラの状態よりも2.35倍の幾何平均高速化を実現することが示された。
  論文  参考訳（メタデータ） (2022-06-08T05:47:42Z)
• A Reinforcement Learning Environment for Polyhedral Optimizations [68.8204255655161]
  マルコフ決定過程(MDP)として多面体モデルにおける法的変換空間の形状に依存しない定式化を提案する。 変換を使う代わりに、定式化は可能なスケジュールの抽象空間に基づいている。 我々の総合的MDP定式化は、強化学習を用いて幅広いループで最適化ポリシーを学習することを可能にする。
  論文  参考訳（メタデータ） (2021-04-28T12:41:52Z)
• A Deep Learning Based Cost Model for Automatic Code Optimization [0.24629531282150877]
  自動コード最適化のための新しいディープラーニングベースのコストモデルを提案する。 Tiramisuコンパイラに統合され、最適なコード変換を選択した。 提案手法は,プログラム全体の高速化予測において平均絶対誤差の16%しか持たない。
  論文  参考訳（メタデータ） (2021-04-11T08:32:42Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。