論文の概要: LibProf: A Python Profiler for Improving Cold Start Performance in Serverless Applications

• arxiv url: http://arxiv.org/abs/2406.11734v1
• Date: Mon, 17 Jun 2024 16:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:43:30.055061
• Title: LibProf: A Python Profiler for Improving Cold Start Performance in Serverless Applications
• Title（参考訳）: LibProf: サーバレスアプリケーションのコールドスタートパフォーマンスを改善するPythonプロファイラ
• Authors: Syed Salauddin Mohammad Tariq, Ali Al Zein, Soumya Sripad Vaidya, Arati Khanolkar, Probir Roy,
• Abstract要約: コールドスタートのレイテンシは、Pythonベースのサーバレスアプリケーションのエンドツーエンドのパフォーマンスに影響する。 動的プログラム解析を用いて非効率性を識別するPythonプロファイラであるLibProfを紹介する。 LibProfは、コールドスタート実行時の最大2.26倍の高速化とメモリ使用量の1.51倍の削減を実現した。
• 参考スコア（独自算出の注目度）: 0.08388591755871733
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Serverless computing abstracts away server management, enabling automatic scaling and efficient resource utilization. However, cold-start latency remains a significant challenge, affecting end-to-end performance. Our preliminary study reveals that inefficient library initialization and usage are major contributors to this latency in Python-based serverless applications. We introduce LibProf, a Python profiler that uses dynamic program analysis to identify inefficient library initializations. LibProf collects library usage data through statistical sampling and call-path profiling, then generates a report to guide developers in addressing four types of inefficiency patterns. Systematic evaluations on 15 serverless applications demonstrate that LibProf effectively identifies inefficiencies. LibProf guided optimization results up to 2.26x speedup in cold-start execution time and 1.51x reduction in memory usage.
• Abstract（参考訳）: サーバーレスコンピューティングはサーバ管理を抽象化し、自動スケーリングと効率的なリソース利用を可能にします。 しかし、コールドスタートのレイテンシは依然として大きな課題であり、エンドツーエンドのパフォーマンスに影響する。 予備調査では,Pythonベースのサーバレスアプリケーションにおいて,非効率なライブラリの初期化と利用が,このレイテンシの主要な要因であることが判明した。 動的プログラム解析を用いて非効率なライブラリ初期化を識別するPythonプロファイラであるLibProfを紹介する。 LibProfは統計サンプリングとコールパスプロファイリングを通じてライブラリの使用データを収集し、4種類の非効率パターンに対処する開発者をガイドするレポートを生成する。 15のサーバレスアプリケーションのシステマティック評価は、LibProfが効率の悪さを効果的に識別することを示している。 LibProfは、コールドスタート実行時の最大2.26倍の高速化とメモリ使用量の1.51倍の削減を実現した。

関連論文リスト

• Rotated Runtime Smooth: Training-Free Activation Smoother for accurate INT4 inference [54.2589824716527]
  大規模言語モデルは、その大規模なため、相当な計算とメモリ移動コストを発生させる。 既存のアプローチでは、外れ値と通常の値を2つの行列に分けたり、アクティベーションからウェイトに移行したりしています。 Smooth と Rotation 操作からなる量子化のためのプラグ・アンド・プレイ・アクティベーション・スムーザである Rotated Smooth (RRS) を提案する。 提案手法は,LLaMAおよびQwenファミリーにおける最先端の手法より優れており,IF4推論におけるWikiText-2の難易度は57.33から6.66に向上している。
  論文  参考訳（メタデータ） (2024-09-30T14:59:22Z)
• CyNetDiff -- A Python Library for Accelerated Implementation of Network Diffusion Models [0.9831489366502302]
  CyNetDiffはPythonライブラリで、Cythonで記述されている。 多くの研究課題において、これらのシミュレーションが最も計算集約的なタスクであるため、高水準言語へのインタフェースを備えたライブラリを持つことが望ましい。
  論文  参考訳（メタデータ） (2024-04-25T21:59:55Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• LLM Interactive Optimization of Open Source Python Libraries -- Case Studies and Generalization [0.0]
  本稿では,有名なオープンソースピトンライブラリーの枕とマンピーに適用した方法論的に厳密なケーススタディについて述べる。 現代のLLM ChatGPT-4は、エネルギーと計算効率の最適化に驚くほど適している。 LLMはオープンソースライブラリにおけるコード最適化のための有望なツールであるが、そのループの人間専門家は成功に不可欠である、と結論付けている。
  論文  参考訳（メタデータ） (2023-12-08T13:52:57Z)
• On-demand Cold Start Frequency Reduction with Off-Policy Reinforcement Learning in Serverless Computing [18.36339203254509]
  提案した研究は、強化学習(RL)を用いて、プラットフォーム上での頻繁でオンデマンドなコールドスタートを減らすことに焦点を当てている。 提案手法では,CPU利用率や既存関数インスタンス,応答障害率といった関数メトリクスを考慮したモデルフリーQ-ラーニングを用いて,関数を前もって積極的に初期化する。 評価結果は,Kubelessのデフォルトポリシや関数維持ポリシと比較して,RLベースのエージェントの性能が良好であることを示す。
  論文  参考訳（メタデータ） (2023-08-15T03:01:41Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Theseus: A Library for Differentiable Nonlinear Optimization [21.993680737841476]
  Theseusは、PyTorch上に構築された微分可能な非線形最小二乗(DNLS)最適化のための効率的なアプリケーション依存ライブラリである。 Theseusは、ロボット工学とビジョンにおけるエンドツーエンドの構造化学習のための共通のフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-07-19T17:57:40Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Enel: Context-Aware Dynamic Scaling of Distributed Dataflow Jobs using Graph Propagation [52.9168275057997]
  本稿では,属性グラフ上でメッセージの伝搬を利用してデータフロージョブをモデル化する,新しい動的スケーリング手法であるEnelを提案する。 Enelが効果的な再スケーリングアクションを識別でき、例えばノードの障害に反応し、異なる実行コンテキストで再利用可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-27T10:21:08Z)
• Improving compute efficacy frontiers with SliceOut [31.864949424541344]
  SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。 テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。 これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
  論文  参考訳（メタデータ） (2020-07-21T15:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。