論文の概要: DyPyBench: A Benchmark of Executable Python Software
- arxiv url: http://arxiv.org/abs/2403.00539v1
- Date: Fri, 1 Mar 2024 13:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 17:17:41.331269
- Title: DyPyBench: A Benchmark of Executable Python Software
- Title（参考訳）: DyPyBench: 実行可能なPythonソフトウェアのベンチマーク
- Authors: Islem Bouzenia, Bajaj Piyush Krishan, Michael Pradel
- Abstract要約: 我々は、Pythonプロジェクトの最初のベンチマークであるDyPyBenchを紹介します。
ベンチマークには、さまざまなアプリケーションドメインから50の人気のあるオープンソースプロジェクトが含まれており、合計681万行のPythonコードと30万のテストケースが含まれている。
我々は、DyPyBenchが他の動的解析の基礎を提供し、Pythonコードの実行時の振る舞いを研究することを想定する。
- 参考スコア（独自算出の注目度）: 18.129031749321058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Python has emerged as one of the most popular programming languages,
extensively utilized in domains such as machine learning, data analysis, and
web applications. Python's dynamic nature and extensive usage make it an
attractive candidate for dynamic program analysis. However, unlike for other
popular languages, there currently is no comprehensive benchmark suite of
executable Python projects, which hinders the development of dynamic analyses.
This work addresses this gap by presenting DyPyBench, the first benchmark of
Python projects that is large scale, diverse, ready to run (i.e., with fully
configured and prepared test suites), and ready to analyze (by integrating with
the DynaPyt dynamic analysis framework). The benchmark encompasses 50 popular
opensource projects from various application domains, with a total of 681k
lines of Python code, and 30k test cases. DyPyBench enables various
applications in testing and dynamic analysis, of which we explore three in this
work: (i) Gathering dynamic call graphs and empirically comparing them to
statically computed call graphs, which exposes and quantifies limitations of
existing call graph construction techniques for Python. (ii) Using DyPyBench to
build a training data set for LExecutor, a neural model that learns to predict
values that otherwise would be missing at runtime. (iii) Using dynamically
gathered execution traces to mine API usage specifications, which establishes a
baseline for future work on specification mining for Python. We envision
DyPyBench to provide a basis for other dynamic analyses and for studying the
runtime behavior of Python code.
- Abstract（参考訳）: Pythonは最も人気のあるプログラミング言語の1つとして現れ、機械学習、データ分析、Webアプリケーションなどの分野で広く利用されている。
pythonの動的性質と広範囲な利用は、動的プログラム解析の魅力的な候補となる。
しかし、他の人気のある言語とは異なり、現在実行可能なPythonプロジェクトの包括的なベンチマークスイートはなく、動的解析の開発を妨げる。
dypybenchは、大規模で多様で、実行準備ができているpythonプロジェクトの最初のベンチマーク(完全な構成とテストスイート)で、分析の準備ができている(dynapyt動的解析フレームワークとの統合によって)。
ベンチマークには、さまざまなアプリケーションドメインの50の人気のあるオープンソースプロジェクトが含まれており、合計681万行のpythonコードと30万のテストケースがある。
DyPyBenchは、テストと動的解析の様々なアプリケーションを可能にします。
(i)動的なコールグラフを収集し、静的に計算されたコールグラフと比較し、pythonの既存のコールグラフ構築技術の制限を公開し、定量化する。
(ii) DyPyBenchを使用してLExecutorのトレーニングデータセットを構築する。
(iii) 動的に収集された実行トレースを使用してAPI使用法仕様をマイニングし、Pythonの仕様マイニングに関する将来の作業のベースラインを確立する。
我々は、DyPyBenchが他の動的解析の基礎を提供し、Pythonコードの実行時の振る舞いを研究することを想定する。
関連論文リスト
- PoTo: A Hybrid Andersen's Points-to Analysis for Python [3.6793233203143743]
PoToはAndersenスタイルのコンテキスト非感性とフロー非感性を備えたPythonのポイントツー分析である。
PoTo+は、ポイントツー分析に基づいて構築されたPythonの静的型推論である。
論文 参考訳（メタデータ） (2024-09-05T21:26:25Z) - PyBench: Evaluating LLM Agent on various real-world coding tasks [13.347173063163138]
PyBenchは、現実世界のタスクの5つの主要なカテゴリをカバーするベンチマークで、10種類以上のファイルをカバーする。
我々の評価は、現在のオープンソースLLMがこれらのタスクに苦戦していることを示している。
微調整された8Bサイズモデル: textbfPyLlama3はPyBench上でエキサイティングなパフォーマンスを実現します。
論文 参考訳（メタデータ） (2024-07-23T15:23:14Z) - Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。
実験の結果、Python Self-Consistencyを著しく上回ることがわかった。
特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
論文 参考訳（メタデータ） (2024-02-16T13:48:06Z) - A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。
プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。
抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-05T19:23:34Z) - Scalable and Precise Application-Centered Call Graph Construction for Python [4.655332013331494]
PyCGはPythonプログラムのコールグラフを構築するための最先端のアプローチである。
本稿では,Python プログラム用のアプリケーション中心のコールグラフを構築するためのスケーラブルで正確なアプローチを提案し,プロトタイプツール JARVIS として実装する。
1つの関数を入力として、JARVISは、フローセンシティブなプロセス内分析とプロセス間解析を行う、オンザフライのコールグラフを生成する。
論文 参考訳（メタデータ） (2023-05-10T07:40:05Z) - Serenity: Library Based Python Code Analysis for Code Completion and
Automated Machine Learning [8.362734311902278]
いくつかのタスクで十分であることが判明したPythonの静的解析のためのフレームワークを提案する。
Serenityは、(a)言語翻訳のコアにおける動的ディスパッチへの依存と(b)ライブラリの極端な抽象化という、2つの基本的なメカニズムを利用する。
本稿では、コード補完と自動機械学習という2つのアプリケーションで、Serenityの分析の効率性と有用性を示す。
論文 参考訳（メタデータ） (2023-01-05T02:09:08Z) - DADApy: Distance-based Analysis of DAta-manifolds in Python [51.37841707191944]
DADApyは、高次元データの分析と特徴付けのためのピソンソフトウェアパッケージである。
固有次元と確率密度を推定し、密度に基づくクラスタリングを行い、異なる距離メトリクスを比較する方法を提供する。
論文 参考訳（メタデータ） (2022-05-04T08:41:59Z) - PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。
外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。
PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
論文 参考訳（メタデータ） (2022-04-26T06:15:21Z) - OMB-Py: Python Micro-Benchmarks for Evaluating Performance of MPI
Libraries on HPC Systems [1.066106854070245]
OMB-Pyは並列Pythonアプリケーションのための最初の通信ベンチマークスイートである。
OMB-Pyは様々なポイント・ツー・ポイントと集合的な通信ベンチマークテストから構成される。
逐次実行と比較して,224CPUコア上での最大106倍の高速化を報告した。
論文 参考訳（メタデータ） (2021-10-20T16:59:14Z) - PyODDS: An End-to-end Outlier Detection System with Automated Machine
Learning [55.32009000204512]
PyODDSは、データベースサポート付きアウトレイラ検出のための、エンドツーエンドのPythonシステムである。
具体的には,探索空間を外乱検出パイプラインで定義し,与えられた探索空間内で探索戦略を作成する。
また、データサイエンスや機械学習のバックグラウンドの有無に関わらず、統一されたインターフェイスと視覚化を提供する。
論文 参考訳（メタデータ） (2020-03-12T03:30:30Z) - OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。
OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
論文 参考訳（メタデータ） (2020-01-28T15:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。