論文の概要: Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs

• arxiv url: http://arxiv.org/abs/2412.06994v2
• Date: Tue, 01 Apr 2025 05:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 16:16:39.893661
• Title: Phaedrus: Predicting Dynamic Application Behavior with Lightweight Generative Models and LLMs
• Title（参考訳）: Phaedrus:軽量生成モデルとLLMによる動的アプリケーション動作の予測
• Authors: Bodhisatwa Chatterjee, Neeraj Jadhav, Sharjeel Khan, Santosh Pande,
• Abstract要約: Phaedrusは、さまざまな実行インスタンスにわたる動的プログラムの振る舞いを予測するように設計された、新しいテキストコンパイラ支援のディープラーニングフレームワークである。 実験の結果,textitPhaedrus は WPP 関数のプロファイルサイズを最大107倍に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 1.836169528785257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Application profiling is an indispensable technique for many software development tasks, such as code and memory layout optimizations, where optimization decisions are tailored to specific program profiles. Unfortunately, modern applications codebases exhibit highly variant behavior across different inputs, creating challenges for conventional profiling approaches that rely on a single representative execution instance. In this paper, we propose \textbf{Phaedrus}, a new \textit{compiler-assisted deep learning framework} designed to predict dynamic program behaviors across varied execution instances, specifically focusing on dynamic function call prediction.Such predicted call sequences are then used for producing optimized code pertinent to a given input. Traditional profile-guided optimization methods struggle with the input-dependent variability of modern applications, where profiling on different inputs yields divergent application behaviors. To address this, Phaedrus proposes two new approaches: \textit{Application Behavior Synthesis}, a profile-less approach where Large Language Models (LLMs) directly infer dynamic functions based on source code \& static compiler analysis, bypassing the need for traditional profiling, and \textit{Application Profile Generalization}, which uses generative models trained on compressed and augmented \textit{Whole Program Path} (WPP) based function profiles to predict application behavior under unseen inputs. Our experiments show that \textit{Phaedrus} can achieve upto $10^7X$ reduction in WPP function profile sizes, can predict most frequently executed functions that cover upto 85-99\% of the execution time, along with an average of 13.68\% (upto 65\%) reduction in application binary size, and an average of 2.8\% performance improvement over the traditional profile-guided optimization.
• Abstract（参考訳）: アプリケーションプロファイリングは、コードやメモリレイアウトの最適化など、多くのソフトウェア開発タスクにおいて必須のテクニックである。 残念なことに、現代のアプリケーションのコードベースは異なる入力に対して非常に多様な振る舞いを示しており、単一の代表実行インスタンスに依存する従来のプロファイリングアプローチの課題を生み出している。 本稿では,動的関数呼び出しの予測に特化して,動的プログラムの動作を動的に予測する,新しい‘textit{compiler-assisted Deep Learning framework’を提案する。 従来のプロファイル誘導最適化手法は、異なる入力に対するプロファイリングが異なるアプリケーションの振る舞いをもたらす現代のアプリケーションにおいて、入力依存のばらつきに対処する。 この問題を解決するために、Phaedrus氏は2つの新しいアプローチを提案する: \textit{Application Behavior Synthesis}, プロファイルレスアプローチ:大言語モデル(LLM)は、ソースコード \&静的コンパイラ解析に基づいて動的関数を直接推論し、従来のプロファイリングの必要性を回避し、そして \textit{Application Profile Generalization} は、圧縮および拡張された \textit{Whole Program Path} (WPP) に基づいてトレーニングされた生成モデルを使用して、未確認の入力下でアプリケーションの振る舞いを予測する。 実験により, WPP関数のプロファイルサイズを最大10^7X$まで削減し, 実行時間の85～99.%までをカバーし, アプリケーションバイナリサイズを平均13.68.%(最大65.%)削減し, 従来のプロファイル誘導最適化よりも平均2.8.%の性能改善を達成できることがわかった。

関連論文リスト

• Boosting Private Domain Understanding of Efficient MLLMs: A Tuning-free, Adaptive, Universal Prompt Optimization Framework [60.26747209785186]
  マルチモーダル大言語モデル(EMLLM)は、モデルのサイズと計算コストを削減し、しばしばリソース制約されたデバイスにデプロイされる。 既存のオープンソースLMは、事前トレーニングプロセス中にプライベートドメイン固有のデータにアクセスすることは滅多にない。 我々は,universtextbfunderlineAL textbfunderlinePrompt Optimization Framework, atextbfunderlineDaptivtextbfunderlineE, universtextbfunderlineAL textbfunderlinePrompt Optimization Frameworkを提案する。
  論文  参考訳（メタデータ） (2024-12-27T15:21:17Z)
• Tracing Optimization for Performance Modeling and Regression Detection [15.99435412859094]
  性能モデルは、システムのパフォーマンスと実行時のアクティビティの関係を解析的に記述する。 性能に敏感なコード領域を識別・排除することで、トレーシングオーバーヘッドを低減する統計的手法を提案する。 私たちのアプローチは完全に自動化されており、最小限の人的労力で本番環境で使用できるようにしています。
  論文  参考訳（メタデータ） (2024-11-26T16:11:55Z)
• $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [54.94545757220999]
  $f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。 ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
  論文  参考訳（メタデータ） (2024-10-29T02:11:45Z)
• PAD: Personalized Alignment of LLMs at Decoding-Time [10.347782385286582]
  本稿では,LLM出力を推論フェーズにおいて多様なパーソナライズされた嗜好と整合させる新しいフレームワークを提案する。 パーソナライズド・アライメント・アライメント・アライメント・アライメント・アット・デコーディング・タイム(PAD)フレームワークは、テキスト生成プロセスをパーソナライズされた好みから切り離す。 PADは、既存のトレーニングベースのアライメント手法を、多様な嗜好と整合するという点で上回るだけでなく、トレーニング中に見つからない嗜好に対する顕著な一般化性も示している。
  論文  参考訳（メタデータ） (2024-10-05T08:00:55Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Probabilistic Programming with Programmable Variational Inference [45.593974530502095]
  本稿では,構成プログラム変換に基づくPPLの変分推論を支援するための,よりモジュラーなアプローチを提案する。 我々の設計は、自動微分、密度、トレーシング、偏りのない勾配推定戦略の適用など、多くの相互作用する関心事に関するモジュラー推論を可能にする。 我々は、JAXで実装されたGen確率型プログラミングシステム(genjax.vi)の拡張として、我々のアプローチを実装し、いくつかの深い生成モデリングタスクを評価する。
  論文  参考訳（メタデータ） (2024-06-22T05:49:37Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Aligning Large Language Models with Counterfactual DPO [1.8130068086063336]
  本稿では,人的介入に頼らずにモデルスタイルを整列させる反事実的プロンプトの利用について検討する。 本研究では,この手法が望ましい行動を効果的に抑制し,望ましくない行動を緩和し,不適切な指示を無視するようモデルに促すことを実証する。
  論文  参考訳（メタデータ） (2024-01-17T19:43:43Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
  最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。 凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。 切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
  論文  参考訳（メタデータ） (2023-03-28T01:30:40Z)
• Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training [17.556432199389615]
  Slapoは、テンソルレベルの演算子の実行をその算術的定義から切り離すスケジュール言語である。 SlapoはNVIDIA V100 GPUを8台搭載した1台のマシンで最大2.92倍のトレーニングスループットを向上できることを示す。
  論文  参考訳（メタデータ） (2023-02-16T00:34:53Z)
• Learning to compile smartly for program size reduction [35.58682369218936]
  プログラムサイズ削減のためのパスを選択するためのポリシーを学習する新しいアプローチを提案する。 提案手法では,有用なパスシーケンスを識別する検索機構と,最適なシーケンスを選択するための注意をカスタマイズしたGNNを用いる。
  論文  参考訳（メタデータ） (2023-01-09T16:42:35Z)
• Optimistic Policy Optimization is Provably Efficient in Non-stationary MDPs [113.8752163061151]
  非定常線形カーネルマルコフ決定過程(MDP)におけるエピソード強化学習(RL)の研究 線形最適化アンダーライン最適化アルゴリズム(PROPO)を提案する。 PROPOはスライディングウィンドウベースのポリシー評価と周期的リスタートベースのポリシー改善の2つのメカニズムを特徴としている。
  論文  参考訳（メタデータ） (2021-10-18T02:33:20Z)
• Transforming Probabilistic Programs for Model Checking [0.0]
  確率的プログラムに静的解析を適用し、2つの重要なモデル検査手法の大部分を自動化する。 本手法は,密度関数を指定する確率的プログラムを,効率的なフォワードサンプリング形式に変換する。 本稿では,一般的なStan確率型プログラミング言語を対象とする実装を提案する。
  論文  参考訳（メタデータ） (2020-08-21T21:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。