論文の概要: Behavioral Embeddings of Programs: A Quasi-Dynamic Approach for Optimization Prediction

• arxiv url: http://arxiv.org/abs/2510.13158v1
• Date: Wed, 15 Oct 2025 05:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.504742
• Title: Behavioral Embeddings of Programs: A Quasi-Dynamic Approach for Optimization Prediction
• Title（参考訳）: プログラムの挙動埋め込み:最適化予測のための準動的アプローチ
• Authors: Haolin Pan, Jinyuan Dong, Hongbin Zhang, Hongyu Lin, Mingjie Xing, Yanjun Wu,
• Abstract要約: 本稿では,プログラム表現のための新しい準動的フレームワークを提案する。 中心となる洞察は、プログラムの最適化感度をモデル化することである。 この高次元連続スペクトルを効果的に符号化するために,我々は合成学習アプローチを開拓した。
• 参考スコア（独自算出の注目度）: 35.89884852302035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning effective numerical representations, or embeddings, of programs is a fundamental prerequisite for applying machine learning to automate and enhance compiler optimization. Prevailing paradigms, however, present a dilemma. Static representations, derived from source code or intermediate representation (IR), are efficient and deterministic but offer limited insight into how a program will behave or evolve under complex code transformations. Conversely, dynamic representations, which rely on runtime profiling, provide profound insights into performance bottlenecks but are often impractical for large-scale tasks due to prohibitive overhead and inherent non-determinism. This paper transcends this trade-off by proposing a novel quasi-dynamic framework for program representation. The core insight is to model a program's optimization sensitivity. We introduce the Program Behavior Spectrum, a new representation generated by probing a program's IR with a diverse set of optimization sequences and quantifying the resulting changes in its static features. To effectively encode this high-dimensional, continuous spectrum, we pioneer a compositional learning approach. Product Quantization is employed to discretize the continuous reaction vectors into structured, compositional sub-words. Subsequently, a multi-task Transformer model, termed PQ-BERT, is pre-trained to learn the deep contextual grammar of these behavioral codes. Comprehensive experiments on two representative compiler optimization tasks -- Best Pass Prediction and -Oz Benefit Prediction -- demonstrate that our method outperforms state-of-the-art static baselines. Our code is publicly available at https://github.com/Panhaolin2001/PREP/.
• Abstract（参考訳）: プログラムの効率的な数値表現、あるいは埋め込みを学習することは、コンパイラの最適化の自動化と強化に機械学習を適用するための基本的な前提条件である。 しかし、一般的なパラダイムはジレンマを示す。 ソースコードや中間表現(IR)から派生した静的表現は効率的で決定論的だが、複雑なコード変換の下でプログラムがどのように振る舞うか、進化するかについての限られた洞察を提供する。 逆に、実行時のプロファイリングに依存する動的表現は、パフォーマンスボトルネックに関する深い洞察を提供するが、多くの場合、禁止的なオーバーヘッドと固有の非決定性のため、大規模タスクには実用的ではない。 本稿では,プログラム表現のための新しい準力学フレームワークを提案することにより,このトレードオフを克服する。 中心となる洞察は、プログラムの最適化感度をモデル化することである。 本稿では,プログラムのIRを多様な最適化シーケンスで探索し,その結果の静的な特徴の変化を定量化する新しい表現であるProgram Behavior Spectrumを紹介する。 この高次元連続スペクトルを効果的に符号化するために,我々は合成学習アプローチを開拓した。 生成物量子化は、連続反応ベクトルを構造化された合成サブワードに識別するために用いられる。 その後、PQ-BERTと呼ばれるマルチタスクトランスフォーマーモデルが事前学習され、これらの振る舞いコードの深い文脈文法が学習される。 Best Pass Prediction と -Oz Benefit Prediction という2つの代表的なコンパイラ最適化タスクに関する総合的な実験は、我々の手法が最先端の静的ベースラインより優れていることを実証している。 私たちのコードはhttps://github.com/Panhaolin2001/PREP/で公開されています。

関連論文リスト

• Optimal Kernel Learning for Gaussian Process Models with High-Dimensional Input [0.0]
  一部のシミュレーションモデルでは、出力は入力変数の小さな部分集合(能動変数と呼ばれる)によってのみ大きく影響される。 そこで本研究では,これらの能動変数を同定し,GPモデルの限界を克服し,システム理解を向上させるためのカーネル学習手法を提案する。
  論文  参考訳（メタデータ） (2025-02-23T15:39:59Z)
• Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs [1.696629478421498]
  Phaedrusは、さまざまな実行インスタンスにわたる動的プログラムの振る舞いを予測するように設計された、新しいテキストコンパイラ支援のディープラーニングフレームワークである。 実験の結果,textitPhaedrus は WPP 関数のプロファイルサイズを最大107倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-09T21:01:45Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• MIREncoder: Multi-modal IR-based Pretrained Embeddings for Performance Optimizations [6.919817502555546]
  本稿では,Multi-modal IRベースのオートエンコーダであるMIREncoderを提案する。 マルチモーダルなアプローチにより、コンパイル可能なプログラムからより優れた特徴を抽出できる。 評価の結果,提案手法はオーバヘッドを低減しつつ,技術状況より優れることが示された。
  論文  参考訳（メタデータ） (2024-07-02T13:00:19Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• How could Neural Networks understand Programs? [67.4217527949013]
  ソースコードにnlpプリトレーニング技術を直接適用するか、あるいはtheshelfによってモデルに機能を追加するかで、プログラムをより理解するためのモデルを構築するのは難しい。 本研究では,(1)操作セマンティクスの基本操作とよく一致する表現と(2)環境遷移の情報からなる情報から,モデルが学ぶべき新しいプログラムセマンティクス学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T12:21:42Z)
• ProGraML: Graph-based Deep Learning for Program Optimization and Analysis [16.520971531754018]
  本稿では,機械学習のためのグラフベースのプログラム表現であるProGraMLを紹介する。 ProGraMLは平均94.0F1スコアを獲得し、最先端のアプローチを著しく上回っている。 そして、我々のアプローチを2つのハイレベルなタスク - 不均一なデバイスマッピングとプログラム分類 - に適用し、その両方で新しい最先端のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2020-03-23T20:27:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。