論文の概要: ProGraML: Graph-based Deep Learning for Program Optimization and Analysis

• arxiv url: http://arxiv.org/abs/2003.10536v1
• Date: Mon, 23 Mar 2020 20:27:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 23:49:11.746789
• Title: ProGraML: Graph-based Deep Learning for Program Optimization and Analysis
• Title（参考訳）: ProGraML: プログラム最適化と分析のためのグラフベースのディープラーニング
• Authors: Chris Cummins, Zacharias V. Fisches, Tal Ben-Nun, Torsten Hoefler, Hugh Leather
• Abstract要約: 本稿では,機械学習のためのグラフベースのプログラム表現であるProGraMLを紹介する。 ProGraMLは平均94.0F1スコアを獲得し、最先端のアプローチを著しく上回っている。 そして、我々のアプローチを2つのハイレベルなタスク - 不均一なデバイスマッピングとプログラム分類 - に適用し、その両方で新しい最先端のパフォーマンスを設定します。
• 参考スコア（独自算出の注目度）: 16.520971531754018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing complexity of computing systems places a tremendous burden on optimizing compilers, requiring ever more accurate and aggressive optimizations. Machine learning offers significant benefits for constructing optimization heuristics but there remains a gap between what state-of-the-art methods achieve and the performance of an optimal heuristic. Closing this gap requires improvements in two key areas: a representation that accurately captures the semantics of programs, and a model architecture with sufficient expressiveness to reason about this representation. We introduce ProGraML - Program Graphs for Machine Learning - a novel graph-based program representation using a low level, language agnostic, and portable format; and machine learning models capable of performing complex downstream tasks over these graphs. The ProGraML representation is a directed attributed multigraph that captures control, data, and call relations, and summarizes instruction and operand types and ordering. Message Passing Neural Networks propagate information through this structured representation, enabling whole-program or per-vertex classification tasks. ProGraML provides a general-purpose program representation that equips learnable models to perform the types of program analysis that are fundamental to optimization. To this end, we evaluate the performance of our approach first on a suite of traditional compiler analysis tasks: control flow reachability, dominator trees, data dependencies, variable liveness, and common subexpression detection. On a benchmark dataset of 250k LLVM-IR files covering six source programming languages, ProGraML achieves an average 94.0 F1 score, significantly outperforming the state-of-the-art approaches. We then apply our approach to two high-level tasks - heterogeneous device mapping and program classification - setting new state-of-the-art performance in both.
• Abstract（参考訳）: 計算システムの複雑さが増すことで、コンパイラの最適化に多大な負担がかかり、より正確で積極的な最適化が必要となる。 機械学習は最適化ヒューリスティックを構築する上で大きなメリットを提供するが、最先端のメソッドが達成するものと最適なヒューリスティックのパフォーマンスとの間には相違点がある。 このギャップを閉じるには、プログラムの意味を正確に捉える表現と、この表現を推論するのに十分な表現力を持つモデルアーキテクチャという、2つの重要な領域の改善が必要である。 ProGraML - 機械学習のためのプログラムグラフ - 低レベル、言語非依存、ポータブルフォーマットを使った新しいグラフベースのプログラム表現、およびこれらのグラフ上で複雑な下流タスクを実行できる機械学習モデルを紹介する。 ProGraML表現は、制御、データ、呼び出し関係をキャプチャし、命令とオペランドの型と順序を要約する属性付きマルチグラフである。 メッセージパッシングニューラルネットワークはこの構造化された表現を通じて情報を伝達し、プログラム全体または頂点ごとの分類タスクを可能にする。 ProGraMLは、学習可能なモデルを使って最適化の基本となるプログラム分析を行う汎用プログラム表現を提供する。 そこで本研究では,制御フローの到達性,ドミネータツリー,データ依存,変数の生存性,共通部分表現検出といった,従来のコンパイラ解析タスクに対して,まずアプローチの性能を評価する。 6つのソースコード言語をカバーする250kのLLVM-IRファイルのベンチマークデータセットで、ProGraMLは平均94.0 F1スコアを獲得し、最先端のアプローチよりも大幅に優れている。 そして、このアプローチを2つのハイレベルなタスク – 異種デバイスマッピングとプログラム分類 – に適用しました。

関連論文リスト

• Instance-Aware Graph Prompt Learning [71.26108600288308]
  本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。 このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。 複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-26T18:38:38Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• MTLSO: A Multi-Task Learning Approach for Logic Synthesis Optimization [19.13500546022262]
  MTLSOは論理合成最適化のためのマルチタスク学習手法である。 一次回帰タスクと並行して,二元多ラベルグラフ分類の補助タスクを導入する。 また、階層的なグラフ表現学習戦略を用いて、表現力のあるグラフレベルの表現を学習するためのモデルの能力を向上させる。
  論文  参考訳（メタデータ） (2024-09-09T21:20:36Z)
• MAVIS: Mathematical Visual Instruction Tuning with an Automatic Data Engine [85.80851893886161]
  MLLMのための数学的なVISual命令チューニングパイプラインであるMAVISを提案する。 我々はMAVIS-Captionを用いて、図形視覚符号化の改善に適したコントラスト学習により、数学固有の視覚エンコーダ(CLIP-Math)を微調整する。 第3に、ロバストな問題解決スキルの指導チューニングを行うためにMAVIS-Instructを採用し、結果のモデルをMAVIS-7Bと呼ぶ。
  論文  参考訳（メタデータ） (2024-07-11T17:59:47Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• PERFOGRAPH: A Numerical Aware Program Graph Representation for Performance Optimization and Program Analysis [12.778336318809092]
  最新の機械学習メソッドを採用する上で重要な課題は、プログラミング言語の表現である。 本稿では,現在のプログラム表現の限界と課題を克服するため,PERFOGRAPHと呼ばれるグラフベースのプログラム表現を提案する。 PerFOGRAPHは、新しいノードとエッジを導入することで、数値情報と集約データ構造をキャプチャできる。
  論文  参考訳（メタデータ） (2023-05-31T21:59:50Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• End-to-end Mapping in Heterogeneous Systems Using Graph Representation Learning [13.810753108848582]
  本稿では,エンドツーエンドでプログラム可能なグラフ表現学習フレームワークを提案する。 高レベルのプログラムの複雑さを普遍的な中間表現にマイニングし、特定の計算パターンを抽出し、特定のコア上でどのコードセグメントがベストに動作するかを予測できる。 評価では、スレッドベースの実行と比較して最大速度が6.42倍、最先端技術と比較して2.02倍であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T22:13:13Z)
• Deep Data Flow Analysis [14.583644439728895]
  ProGraMLは、ディープラーニングのためのプログラム全体のセマンティクスのポータブル表現である。 コンパイラ解析のための現在および将来の学習手法をベンチマークする。 本稿では, ProGraMLを用いて, ダウンストリームコンパイラ最適化タスクにおいて, 標準解析を学習し, 性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-11-21T03:29:14Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。