論文の概要: Phaedrus: Exploring Dynamic Application Behavior with Lightweight Generative Models and Large-Language Models
- arxiv url: http://arxiv.org/abs/2412.06994v1
- Date: Mon, 09 Dec 2024 21:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:37:48.625893
- Title: Phaedrus: Exploring Dynamic Application Behavior with Lightweight Generative Models and Large-Language Models
- Title（参考訳）: Phaedrus: 軽量生成モデルと大規模言語モデルによる動的アプリケーション動作の探索
- Authors: Bodhisatwa Chatterjee, Neeraj Jadhav, Sharjeel Khan, Santosh Pande,
- Abstract要約: Phaedrusは、さまざまな実行シナリオにわたる動的プログラムの振る舞いを予測するように設計された、新しいテキストコンパイラ支援のディープラーニングフレームワークである。
実験の結果,textitPhaedrus は WPP プロファイルサイズを最大107倍に削減できることがわかった。
- 参考スコア（独自算出の注目度）: 1.836169528785257
- License:
- Abstract: Application profiling is an indispensable technique for many software development tasks, such as code optimization and memory management, where optimization decisions are tailored to specific program profiles. Unfortunately, modern applications codebases exhibit highly variant behavior across different inputs, creating challenges for conventional profiling approaches that rely on a single execution instance. In this paper, we propose \textbf{Phaedrus}, a new \textit{compiler-assisted deep learning framework} designed to predict dynamic program behaviors across varied execution scenarios, specifically focusing on dynamic function call prediction. Traditional profile-guided optimization methods struggle with the input-dependent variability of modern applications, where profiling on different inputs yields divergent application behaviors. To address this, Phaedrus proposes two new approaches: \textit{Application Profile Generalization}, which uses generative models trained on compressed and augmented \textit{Whole Program Path} (WPP) profiles to predict application behavior under unseen inputs, and \textit{Application Behavior Synthesis}, a profile-less approach where Large Language Models (LLMs) directly infer dynamic functions based on source code \& static compiler analysis, bypassing the need for traditional profiling. Our experiments show that \textit{Phaedrus} can achieve upto $10^7X$ reduction in WPP profile sizes, can predict dynamic hot functions that cover upto 85-99\% of the execution time, along with an average of \textbf{13.46\%} (upto \textbf{65\%}) reduction in application binary size reduction, without profiles.
- Abstract（参考訳）: アプリケーションプロファイリングは、コード最適化やメモリ管理といった多くのソフトウェア開発タスクにおいて必須のテクニックであり、最適化決定は特定のプログラムプロファイルに合わせて調整される。
残念なことに、現代のアプリケーションのコードベースは異なる入力に対して非常に多様な振る舞いを示しており、単一の実行インスタンスに依存する従来のプロファイリングアプローチの課題を生み出している。
本稿では,動的関数呼び出しの予測に特化して,様々な実行シナリオにおける動的プログラム動作を予測するために設計された,新しい‘textit{compiler-assisted Deep Learning framework’である‘textbf{Phaedrus} を提案する。
従来のプロファイル誘導最適化手法は、異なる入力に対するプロファイリングが異なるアプリケーションの振る舞いをもたらす現代のアプリケーションにおいて、入力依存のばらつきに対処する。
これを解決するために、Phaedrus氏は2つの新しいアプローチを提案する: \textit{Application Profile Generalization}、圧縮および拡張された \textit{Whole Program Path} (WPP)プロファイルでトレーニングされた生成モデルを使用して未確認入力下でのアプリケーションの振る舞いを予測する。
実験の結果, WPP プロファイルサイズを最大10^7X$ まで削減でき, 実行時間の 85-99 % までをカバーする動的ホット関数を, プロファイルのないアプリケーションバイナリサイズ削減の 平均 \textbf{13.46\%} (upto \textbf{65\%}) で予測できることがわかった。
関連論文リスト
- $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [91.43730624072226]
$f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。
ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
論文 参考訳（メタデータ） (2024-10-29T02:11:45Z) - Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Probabilistic Programming with Programmable Variational Inference [45.593974530502095]
本稿では,構成プログラム変換に基づくPPLの変分推論を支援するための,よりモジュラーなアプローチを提案する。
我々の設計は、自動微分、密度、トレーシング、偏りのない勾配推定戦略の適用など、多くの相互作用する関心事に関するモジュラー推論を可能にする。
我々は、JAXで実装されたGen確率型プログラミングシステム(genjax.vi)の拡張として、我々のアプローチを実装し、いくつかの深い生成モデリングタスクを評価する。
論文 参考訳（メタデータ） (2024-06-22T05:49:37Z) - One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。
我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。
我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
論文 参考訳（メタデータ） (2024-05-29T22:12:52Z) - Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。
一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-01-21T10:46:23Z) - Aligning Large Language Models with Counterfactual DPO [1.8130068086063336]
本稿では,人的介入に頼らずにモデルスタイルを整列させる反事実的プロンプトの利用について検討する。
本研究では,この手法が望ましい行動を効果的に抑制し,望ましくない行動を緩和し,不適切な指示を無視するようモデルに促すことを実証する。
論文 参考訳（メタデータ） (2024-01-17T19:43:43Z) - FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization
Bugs [92.47146416628965]
FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。
我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。
テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
論文 参考訳（メタデータ） (2023-06-28T13:00:17Z) - Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。
凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。
切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
論文 参考訳（メタデータ） (2023-03-28T01:30:40Z) - Learning Intermediate Representations using Graph Neural Networks for
NUMA and Prefetchers Optimization [1.3999481573773074]
本稿では,コード中の静的中間表現(IR)が,性能プロファイリングの禁止コストを伴わずにNUMA/prefetcher最適化を導出する方法を示す。
静的中間表現に基づくモデルでは,高コストな動的性能プロファイリングに基づく戦略によって得られる性能向上の80%を達成できることを示す。
論文 参考訳（メタデータ） (2022-03-01T16:51:30Z) - Transforming Probabilistic Programs for Model Checking [0.0]
確率的プログラムに静的解析を適用し、2つの重要なモデル検査手法の大部分を自動化する。
本手法は,密度関数を指定する確率的プログラムを,効率的なフォワードサンプリング形式に変換する。
本稿では,一般的なStan確率型プログラミング言語を対象とする実装を提案する。
論文 参考訳（メタデータ） (2020-08-21T21:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。