論文の概要: PopPy: Opportunistically Exploiting Parallelism in Python Compound AI Applications
- arxiv url: http://arxiv.org/abs/2605.18697v1
- Date: Mon, 18 May 2026 17:33:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:50.203848
- Title: PopPy: Opportunistically Exploiting Parallelism in Python Compound AI Applications
- Title（参考訳）: PopPy: Python複合AIアプリケーションにおける並列処理の機会
- Authors: Stephen Mell, David Mell, Konstantinos Kallas, Steve Zdancewic, Osbert Bastani,
- Abstract要約: PopPyは、Pythonアプリケーションにおける並列化の機会を明らかにするシステムである。
現実世界の複合AIアプリケーションセットでは、PopPyはエンドツーエンドの実行時間で最大6.4倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 23.38594451793918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compound AI applications, which compose calls to ML models using a general-purpose programming language like Python, are widely used for a variety of user-facing tasks, from software engineering to enterprise automation, making their end-to-end latency a critical bottleneck. In contrast to traditional applications, execution time is dominated by the external components, which cannot be handled by traditional language optimization systems, like optimizing compilers. To address this problem, we develop PopPy, a system that can uncover parallelization opportunities in Python applications that invoke these heavy external components, including those used in compound AI applications. PopPy supports a very expressive fragment of Python and requires minimal developer input to uncover parallelism. It combines an ahead-of-time compiler with a runtime, addressing three key challenges in extracting parallelism from Python applications: language complexity, dynamic dispatch, and variable mutation. On a set of real-world compound AI applications, PopPy achieves up to $6.4\times$ speedups in end-to-end execution time compared to standard Python execution while preserving the sequential program semantics.
- Abstract（参考訳）: Pythonのような汎用プログラミング言語を使ってMLモデルを呼び出す複合AIアプリケーションは、ソフトウェアエンジニアリングからエンタープライズオートメーションまで、さまざまなユーザ向けタスクに広く使用されている。
従来のアプリケーションとは対照的に、実行時間は外部コンポーネントに支配されており、コンパイラの最適化など、従来の言語最適化システムでは処理できない。
この問題に対処するためにPopPyを開発した。PopPyは、複合AIアプリケーションなど、これらの重い外部コンポーネントを起動するPythonアプリケーションにおける並列化の機会を明らかにするシステムである。
PopPyはPythonの非常に表現力豊かな断片をサポートしており、並列性を明らかにするには開発者の入力を最小限にする必要がある。
プリエント・オブ・タイムのコンパイラとランタイムを組み合わせることで,Pythonアプリケーションから並列処理を抽出する上で,3つの重要な課題 – 言語複雑性,動的ディスパッチ,変数変異 – に対処する。
現実世界の複合AIアプリケーションでは、PopPyはシーケンシャルなプログラムセマンティクスを保ちながら、標準的なPython実行と比較して、エンドツーエンドの実行時間で最大6.4\times$のスピードアップを達成する。
関連論文リスト
- PyMarian: Fast Neural Machine Translation and Evaluation in Python [11.291502854418098]
シーケンス・ツー・シーケンス・モデルのための C++ ベースのトレーニングおよび推論ツールキットである Marian NMT に Python インタフェースを記述した。
このインターフェースにより、Marianでトレーニングされたモデルが、Pythonで利用可能なリッチで幅広いツールに接続できるようになる。
論文 参考訳（メタデータ） (2024-08-15T01:41:21Z) - APPL: A Prompt Programming Language for Harmonious Integration of Programs and Large Language Model Prompts [21.819126948549766]
大規模言語モデル(LLM)は、巧妙なプロンプトの助けを借りて、多様なタスクを扱う能力が高まっている。
APPLはコンピュータプログラムとLLMの間のブリッジとして機能し、Python関数へのプロンプトのシームレスな埋め込みを可能にする。
論文 参考訳（メタデータ） (2024-06-19T02:29:59Z) - DyPyBench: A Benchmark of Executable Python Software [18.129031749321058]
我々は、Pythonプロジェクトの最初のベンチマークであるDyPyBenchを紹介します。
ベンチマークには、さまざまなアプリケーションドメインから50の人気のあるオープンソースプロジェクトが含まれており、合計681万行のPythonコードと30万のテストケースが含まれている。
我々は、DyPyBenchが他の動的解析の基礎を提供し、Pythonコードの実行時の振る舞いを研究することを想定する。
論文 参考訳（メタデータ） (2024-03-01T13:53:15Z) - Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。
実験の結果、Python Self-Consistencyを著しく上回ることがわかった。
特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
論文 参考訳（メタデータ） (2024-02-16T13:48:06Z) - InterCode: Standardizing and Benchmarking Interactive Coding with
Execution Feedback [50.725076393314964]
標準的な強化学習環境として,インタラクティブコーディングの軽量でフレキシブルで使いやすいフレームワークであるInterCodeを紹介した。
私たちのフレームワークは、言語とプラットフォームに依存しない、自己完結型のDocker環境を使用して、安全で再現可能な実行を提供します。
我々は、異なるプロンプト戦略で構成された複数の最先端LLMを評価することにより、InterCodeの生存性をテストベッドとして示す。
論文 参考訳（メタデータ） (2023-06-26T17:59:50Z) - QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
並列量子プログラミングのための言語拡張を提案する。
QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。
並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
論文 参考訳（メタデータ） (2022-10-07T16:35:16Z) - pymdp: A Python library for active inference in discrete state spaces [52.85819390191516]
pymdpはPythonでアクティブな推論をシミュレートするオープンソースパッケージである。
我々は,POMDPによるアクティブな推論をシミュレートする,最初のオープンソースパッケージを提供する。
論文 参考訳（メタデータ） (2022-01-11T12:18:44Z) - OMB-Py: Python Micro-Benchmarks for Evaluating Performance of MPI
Libraries on HPC Systems [1.066106854070245]
OMB-Pyは並列Pythonアプリケーションのための最初の通信ベンチマークスイートである。
OMB-Pyは様々なポイント・ツー・ポイントと集合的な通信ベンチマークテストから構成される。
逐次実行と比較して,224CPUコア上での最大106倍の高速化を報告した。
論文 参考訳（メタデータ） (2021-10-20T16:59:14Z) - Extending Python for Quantum-Classical Computing via Quantum
Just-in-Time Compilation [78.8942067357231]
Pythonは、その柔軟性、ユーザビリティ、可読性、開発者の生産性を重視することで有名な人気のあるプログラミング言語です。
量子ジャスト・イン・タイム・コンパイルのための堅牢なC++インフラストラクチャを通じて、異種量子古典計算を可能にするPythonの言語拡張を提案する。
論文 参考訳（メタデータ） (2021-05-10T21:11:21Z) - Python Workflows on HPC Systems [2.1485350418225244]
計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。
Pythonはユーザに対して多くの利点を提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていない。
本稿では,HPCクラスタ上でのPythonの使用によって引き起こされる重要な問題を分析し,適切な回避策をスケッチする。
論文 参考訳（メタデータ） (2020-12-01T09:51:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。