論文の概要: ProGraML: Graph-based Deep Learning for Program Optimization and
Analysis
- arxiv url: http://arxiv.org/abs/2003.10536v1
- Date: Mon, 23 Mar 2020 20:27:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 23:49:11.746789
- Title: ProGraML: Graph-based Deep Learning for Program Optimization and
Analysis
- Title(参考訳): ProGraML: プログラム最適化と分析のためのグラフベースのディープラーニング
- Authors: Chris Cummins, Zacharias V. Fisches, Tal Ben-Nun, Torsten Hoefler,
Hugh Leather
- Abstract要約: 本稿では,機械学習のためのグラフベースのプログラム表現であるProGraMLを紹介する。
ProGraMLは平均94.0F1スコアを獲得し、最先端のアプローチを著しく上回っている。
そして、我々のアプローチを2つのハイレベルなタスク - 不均一なデバイスマッピングとプログラム分類 - に適用し、その両方で新しい最先端のパフォーマンスを設定します。
- 参考スコア(独自算出の注目度): 16.520971531754018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing complexity of computing systems places a tremendous burden on
optimizing compilers, requiring ever more accurate and aggressive
optimizations. Machine learning offers significant benefits for constructing
optimization heuristics but there remains a gap between what state-of-the-art
methods achieve and the performance of an optimal heuristic. Closing this gap
requires improvements in two key areas: a representation that accurately
captures the semantics of programs, and a model architecture with sufficient
expressiveness to reason about this representation.
We introduce ProGraML - Program Graphs for Machine Learning - a novel
graph-based program representation using a low level, language agnostic, and
portable format; and machine learning models capable of performing complex
downstream tasks over these graphs. The ProGraML representation is a directed
attributed multigraph that captures control, data, and call relations, and
summarizes instruction and operand types and ordering. Message Passing Neural
Networks propagate information through this structured representation, enabling
whole-program or per-vertex classification tasks.
ProGraML provides a general-purpose program representation that equips
learnable models to perform the types of program analysis that are fundamental
to optimization. To this end, we evaluate the performance of our approach first
on a suite of traditional compiler analysis tasks: control flow reachability,
dominator trees, data dependencies, variable liveness, and common subexpression
detection. On a benchmark dataset of 250k LLVM-IR files covering six source
programming languages, ProGraML achieves an average 94.0 F1 score,
significantly outperforming the state-of-the-art approaches. We then apply our
approach to two high-level tasks - heterogeneous device mapping and program
classification - setting new state-of-the-art performance in both.
- Abstract(参考訳): 計算システムの複雑さが増すことで、コンパイラの最適化に多大な負担がかかり、より正確で積極的な最適化が必要となる。
機械学習は最適化ヒューリスティックを構築する上で大きなメリットを提供するが、最先端のメソッドが達成するものと最適なヒューリスティックのパフォーマンスとの間には相違点がある。
このギャップを閉じるには、プログラムの意味を正確に捉える表現と、この表現を推論するのに十分な表現力を持つモデルアーキテクチャという、2つの重要な領域の改善が必要である。
ProGraML - 機械学習のためのプログラムグラフ - 低レベル、言語非依存、ポータブルフォーマットを使った新しいグラフベースのプログラム表現、およびこれらのグラフ上で複雑な下流タスクを実行できる機械学習モデルを紹介する。
ProGraML表現は、制御、データ、呼び出し関係をキャプチャし、命令とオペランドの型と順序を要約する属性付きマルチグラフである。
メッセージパッシングニューラルネットワークはこの構造化された表現を通じて情報を伝達し、プログラム全体または頂点ごとの分類タスクを可能にする。
ProGraMLは、学習可能なモデルを使って最適化の基本となるプログラム分析を行う汎用プログラム表現を提供する。
そこで本研究では,制御フローの到達性,ドミネータツリー,データ依存,変数の生存性,共通部分表現検出といった,従来のコンパイラ解析タスクに対して,まずアプローチの性能を評価する。
6つのソースコード言語をカバーする250kのLLVM-IRファイルのベンチマークデータセットで、ProGraMLは平均94.0 F1スコアを獲得し、最先端のアプローチよりも大幅に優れている。
そして、このアプローチを2つのハイレベルなタスク – 異種デバイスマッピングとプログラム分類 – に適用しました。
関連論文リスト
- MuseGraph: Graph-oriented Instruction Tuning of Large Language Models
for Generic Graph Mining [41.19687587548107]
グラフニューラルネットワーク(GNN)は、異なるグラフタスクやデータセットに適用されるたびに、再トレーニングされる必要がある。
GNNとLarge Language Models(LLM)の強みをシームレスに統合する新しいフレームワークMusteGraphを提案する。
実験結果から,異なるグラフタスクの大幅な改善が示された。
論文 参考訳(メタデータ) (2024-03-02T09:27:32Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - PERFOGRAPH: A Numerical Aware Program Graph Representation for
Performance Optimization and Program Analysis [12.778336318809092]
最新の機械学習メソッドを採用する上で重要な課題は、プログラミング言語の表現である。
本稿では,現在のプログラム表現の限界と課題を克服するため,PERFOGRAPHと呼ばれるグラフベースのプログラム表現を提案する。
PerFOGRAPHは、新しいノードとエッジを導入することで、数値情報と集約データ構造をキャプチャできる。
論文 参考訳(メタデータ) (2023-05-31T21:59:50Z) - ParaGraph: Weighted Graph Representation for Performance Optimization of
HPC Kernels [1.304892050913381]
抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。
提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。
その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
論文 参考訳(メタデータ) (2023-04-07T05:52:59Z) - MultiScale MeshGraphNets [65.26373813797409]
我々はMeshGraphNetsからフレームワークを改善するための2つの補完的なアプローチを提案する。
まず、より粗いメッシュ上で高解像度システムの正確なサロゲートダイナミクスを学習できることを実証する。
次に、2つの異なる解像度でメッセージを渡す階層的アプローチ(MultiScale MeshGraphNets)を導入する。
論文 参考訳(メタデータ) (2022-10-02T20:16:20Z) - End-to-end Mapping in Heterogeneous Systems Using Graph Representation
Learning [13.810753108848582]
本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。
高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。
評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
論文 参考訳(メタデータ) (2022-04-25T22:13:13Z) - Graph Contrastive Learning Automated [94.41860307845812]
グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。
GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。
本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-10T16:35:27Z) - Deep Data Flow Analysis [14.583644439728895]
ProGraMLは、ディープラーニングのためのプログラム全体のセマンティクスのポータブル表現である。
コンパイラ解析のための現在および将来の学習手法をベンチマークする。
本稿では, ProGraMLを用いて, ダウンストリームコンパイラ最適化タスクにおいて, 標準解析を学習し, 性能を向上できることを示す。
論文 参考訳(メタデータ) (2020-11-21T03:29:14Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z) - MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical
Models [96.1052289276254]
この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。
驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
論文 参考訳(メタデータ) (2020-04-16T16:20:53Z) - Graph Representation Learning via Graphical Mutual Information
Maximization [86.32278001019854]
本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。
我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
論文 参考訳(メタデータ) (2020-02-04T08:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。