論文の概要: PrediPrune: Reducing Verification Overhead in Souper with Machine Learning Driven Pruning

• arxiv url: http://arxiv.org/abs/2509.16497v1
• Date: Sat, 20 Sep 2025 02:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 15:16:09.771881
• Title: PrediPrune: Reducing Verification Overhead in Souper with Machine Learning Driven Pruning
• Title（参考訳）: PrediPrune: マシンラーニング駆動型プルーニングによるソーパの検証オーバーヘッド低減
• Authors: Ange-Thierry Ishimwe, Raghuveer Shivakumar, Heewoo Kim, Tamara Lehman, Joseph Izraelevitz,
• Abstract要約: Souperは、プログラムの実行時のパフォーマンスを向上させる強力な列挙型スーパー最適化器である。 検証プロセスは、最適化候補を検証するために計算コストの高いSMTソルバに依存している。 提案するPrediPruneは,解法に渡される不正な候補数を効果的に削減するプルーニング戦略である。
• 参考スコア（独自算出の注目度）: 0.8295385180806493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Souper is a powerful enumerative superoptimizer that enhances the runtime performance of programs by optimizing LLVM intermediate representation (IR) code. However, its verification process, which relies on a computationally expensive SMT solver to validate optimization candidates, must explore a large search space. This large search space makes the verification process particularly expensive, increasing the burden to incorporate Souper into compilation tools. We propose PrediPrune, a stochastic candidate pruning strategy that effectively reduces the number of invalid candidates passed to the SMT solver. By utilizing machine learning techniques to predict the validity of candidates based on features extracted from the code, PrediPrune prunes unlikely candidates early, decreasing the verification workload. When combined with the state-of-the-art approach (Dataflow), PrediPrune decreases compilation time by 51% compared to the Baseline and by 12% compared to using only Dataflow, emphasizing the effectiveness of the combined approach that integrates a purely ML-based method (PrediPrune) with a purely non-ML based (Dataflow) method. Additionally, PrediPrune offers a flexible interface to trade-off compilation time and optimization opportunities, allowing end users to adjust the balance according to their needs.
• Abstract（参考訳）: Souperは、LLVM中間表現(IR)コードを最適化することで、プログラムの実行性能を向上させる強力な列挙型スーパー最適化器である。 しかし,計算コストのかかるSMTソルバを用いて最適化候補を検証する検証プロセスでは,大規模な探索空間を探索する必要がある。 この大きな検索スペースは、検証プロセスを特に高価にし、Souperをコンパイルツールに組み込むことの負担を増大させる。 本稿では,SMTソルバに渡される不正候補数を効果的に削減する確率的候補決定戦略であるPrediPruneを提案する。 PrediPruneは、機械学習技術を活用して、コードから抽出された機能に基づいて候補の妥当性を予測することにより、早期に候補を推測し、検証作業量を削減している。 最先端のアプローチ(Dataflow)と組み合わせると、PrediPruneはベースラインと比較してコンパイル時間を51%削減し、Dataflowのみを使用する場合に比べて12%削減する。 さらに、PrediPruneはコンパイル時間と最適化の機会をトレードオフするための柔軟なインターフェースを提供しており、エンドユーザは必要に応じてバランスを調整することができる。

関連論文リスト

• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [62.579951798437115]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Constrain Alignment with Sparse Autoencoders [45.131670081186]
  特徴レベルの制約付き優先度最適化は、安定性を確保しつつアライメントプロセスを簡素化するために設計された新しい手法である。 提案手法は、訓練されたスパースオートエンコーダで活性化されるスパース機能と、逐次KL分散の品質を用いて効率を向上する。
  論文  参考訳（メタデータ） (2024-11-12T07:54:13Z)
• Introducing MAPO: Momentum-Aided Gradient Descent Prompt Optimization [2.750784330885499]
  ProTeGi上に構築されたMAPOは、肯定的な自然言語「段階的」と運動量に基づく拡張を使用して、プロンプトを効果的に洗練する。 MAPOは、ProTeGiよりも少ないAPI呼び出しと高いF1スコアで、より速い収束時間を達成する。
  論文  参考訳（メタデータ） (2024-10-25T11:58:12Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• You May Not Need Ratio Clipping in PPO [117.03368180633463]
  Proximal Policy Optimization (PPO) 法は、複数のミニバッチ最適化エポックを1組のサンプルデータで反復的に実行することでポリシーを学習する。 比率クリッピングPPOは、ターゲットポリシーとサンプル収集に使用されるポリシーの確率比をクリップする一般的な変種である。 本論文では, この比クリッピングが有効に結合できないため, 良好な選択ではないことを示す。 ESPOは、多くのワーカーによる分散トレーニングに簡単にスケールアップでき、パフォーマンスも高いことを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:26:56Z)
• Overfitting in Bayesian Optimization: an empirical study and early-stopping solution [41.782410830989136]
  早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。 提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:26:23Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。