論文の概要: Tracing Optimization for Performance Modeling and Regression Detection

• arxiv url: http://arxiv.org/abs/2411.17548v1
• Date: Tue, 26 Nov 2024 16:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:13.860460
• Title: Tracing Optimization for Performance Modeling and Regression Detection
• Title（参考訳）: 性能モデリングと回帰検出のためのトラクション最適化
• Authors: Kaveh Shahedi, Heng Li, Maxime Lamothe, Foutse Khomh,
• Abstract要約: 性能モデルは、システムのパフォーマンスと実行時のアクティビティの関係を解析的に記述する。 性能に敏感なコード領域を識別・排除することで、トレーシングオーバーヘッドを低減する統計的手法を提案する。 私たちのアプローチは完全に自動化されており、最小限の人的労力で本番環境で使用できるようにしています。
• 参考スコア（独自算出の注目度）: 15.99435412859094
• License:
• Abstract: Software performance modeling plays a crucial role in developing and maintaining software systems. A performance model analytically describes the relationship between the performance of a system and its runtime activities. This process typically examines various aspects of a system's runtime behavior, such as the execution frequency of functions or methods, to forecast performance metrics like program execution time. By using performance models, developers can predict expected performance and thereby effectively identify and address unexpected performance regressions when actual performance deviates from the model's predictions. One common and precise method for capturing performance behavior is software tracing, which involves instrumenting the execution of a program, either at the kernel level (e.g., system calls) or application level (e.g., function calls). However, due to the nature of tracing, it can be highly resource-intensive, making it impractical for production environments where resources are limited. In this work, we propose statistical approaches to reduce tracing overhead by identifying and excluding performance-insensitive code regions, particularly application-level functions, from tracing while still building accurate performance models that can capture performance degradations. By selecting an optimal set of functions to be traced, we can construct optimized performance models that achieve an R-2 score of up to 99% and, sometimes, outperform full tracing models (models using non-optimized tracing data), while significantly reducing the tracing overhead by more than 80% in most cases. Our optimized performance models can also capture performance regressions in our studied programs effectively, demonstrating their usefulness in real-world scenarios. Our approach is fully automated, making it ready to be used in production environments with minimal human effort.
• Abstract（参考訳）: ソフトウェアパフォーマンスモデリングは、ソフトウェアシステムの開発と保守において重要な役割を担います。 性能モデルは、システムのパフォーマンスと実行時のアクティビティの関係を解析的に記述する。 このプロセスは通常、関数やメソッドの実行頻度などのシステムの実行時の動作のさまざまな側面を調べて、プログラムの実行時間などのパフォーマンスメトリクスを予測する。 パフォーマンスモデルを使用することで、期待されるパフォーマンスを予測し、実際のパフォーマンスがモデルの予測から逸脱した場合に、予期しないパフォーマンスのレグレッションを効果的に識別し、対処することができる。 これは、カーネルレベル(例えば、システム呼び出し)またはアプリケーションレベル(例えば、関数呼び出し)でプログラムの実行を計測する。 しかし、トレースの性質から、リソースが限られている運用環境では、非常にリソース集約性が高いため、実用的ではない。 本研究では,性能劣化を捉えた正確な性能モデルを構築しながら,パフォーマンスに敏感なコード領域,特にアプリケーションレベルの関数を識別・排除することで,トレースのオーバーヘッドを低減する統計的手法を提案する。 トレースする関数の最適セットを選択することで、最大99%のR-2スコアを達成する最適化されたパフォーマンスモデルを構築することができ、場合によっては完全なトレースモデル(最適化されていないトレースデータを用いたモデル)よりも優れ、ほとんどの場合、トレースオーバーヘッドを80%以上削減することができる。 最適化された性能モデルにより,本研究プログラムの性能劣化を効果的に把握し,実世界のシナリオにおけるそれらの有用性を示すことができる。 私たちのアプローチは完全に自動化されており、最小限の人的労力で本番環境で使用できるようにしています。

関連論文リスト

• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• Learning Generalizable Program and Architecture Representations for Performance Modeling [0.3277163122167434]
  PerfVecは、新しいディープラーニングベースのパフォーマンスモデリングフレームワークである。 高次元および独立/直交プログラムとマイクロアーキテクチャ表現を学習する。 PerfVecは、命令のパフォーマンスの本質をキャプチャする基盤モデルを生成する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:01Z)
• FuzzyFlow: Leveraging Dataflow To Find and Squash Program Optimization Bugs [92.47146416628965]
  FuzzyFlowはプログラム最適化をテストするために設計されたフォールトローカライゼーションとテストケース抽出フレームワークである。 我々は、データフロープログラム表現を活用して、完全に再現可能なシステム状態と最適化のエリア・オブ・エフェクトをキャプチャする。 テスト時間を削減するため,テスト入力を最小限に抑えるアルゴリズムを設計し,再計算のためのメモリ交換を行う。
  論文  参考訳（メタデータ） (2023-06-28T13:00:17Z)
• A Generic Performance Model for Deep Learning in a Distributed Environment [0.7829352305480285]
  本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
  論文  参考訳（メタデータ） (2023-05-19T13:30:34Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Towards More Fine-grained and Reliable NLP Performance Prediction [85.78131503006193]
  NLPタスクのパフォーマンス予測の改善に2つの貢献をしている。 まず,F1やBLEUのような総合的な精度測定のための性能予測器について検討する。 次に,信頼区間とキャリブレーションの2つの角度から性能予測モデルの信頼性を理解する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:23:20Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• GRAPHSPY: Fused Program Semantic-Level Embedding via Graph Neural Networks for Dead Store Detection [4.82596017481926]
  低オーバーヘッドで不必要なメモリ操作をインテリジェントに識別するための学習精度の高いアプローチを提案する。 プログラムセマンティクスの抽出にいくつかの有意なグラフニューラルネットワークモデルを適用することにより,新しいハイブリッドなプログラム埋め込み手法を提案する。 その結果、我々のモデルは精度の90%を達成でき、最先端ツールのオーバーヘッドの半分程度しか発生しないことがわかった。
  論文  参考訳（メタデータ） (2020-11-18T19:17:15Z)
• Analytics of Longitudinal System Monitoring Data for Performance Prediction [0.7004662712880577]
  スケジューラキューで待機しているジョブのパフォーマンスを予測できるデータ駆動モデルを作成します。 我々はこれらの予測モデルを詳細に分析し、主要な性能予測因子である特徴を特定する。 このようなモデルがアプリケーションに依存しないことを実証し、トレーニングに含まれていないアプリケーションのパフォーマンスを予測するために使用できることを示す。
  論文  参考訳（メタデータ） (2020-07-07T13:57:59Z)
• Benchmarking and Performance Modelling of MapReduce Communication Pattern [0.0]
  モデルは、目に見えないアプリケーションのパフォーマンスを推測し、任意のデータセットを入力として使用する場合のパフォーマンスを近似するために使用することができる。 実証実験を2つの設定で実施することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-05-23T21:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。