論文の概要: DeepPERF: A Deep Learning-Based Approach For Improving Software
Performance
- arxiv url: http://arxiv.org/abs/2206.13619v1
- Date: Mon, 27 Jun 2022 20:35:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 19:50:29.108102
- Title: DeepPERF: A Deep Learning-Based Approach For Improving Software
Performance
- Title(参考訳): DeepPerF: ソフトウェアパフォーマンスを改善するためのディープラーニングベースのアプローチ
- Authors: Spandan Garg, Roshanak Zilouchian Moghaddam, Colin B. Clement, Neel
Sundaresan, Chen Wu
- Abstract要約: 我々は、C#アプリケーションのパフォーマンス改善を提案するトランスフォーマーベースのアプローチであるDeepPERFを紹介する。
評価の結果,53%のケースにおいて,開発者の修正と同等のパフォーマンス向上の提案が得られた。
私たちは、GitHub上の50のオープンソースC#リポジトリでDeepPERFを評価します。
- 参考スコア(独自算出の注目度): 8.251500418379942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving software performance is an important yet challenging part of the
software development cycle. Today, the majority of performance inefficiencies
are identified and patched by performance experts. Recent advancements in deep
learning approaches and the wide-spread availability of open source data
creates a great opportunity to automate the identification and patching of
performance problems. In this paper, we present DeepPERF, a transformer-based
approach to suggest performance improvements for C# applications. We pretrain
DeepPERF on English and Source code corpora and followed by finetuning for the
task of generating performance improvement patches for C# applications. Our
evaluation shows that our model can generate the same performance improvement
suggestion as the developer fix in ~53% of the cases, getting ~34% of them
verbatim in our expert-verified dataset of performance changes made by C#
developers. Additionally, we evaluate DeepPERF on 50 open source C#
repositories on GitHub using both benchmark and unit tests and find that our
model is able to suggest valid performance improvements that can improve both
CPU usage and Memory allocations. So far we've submitted 19 pull-requests with
28 different performance optimizations and 11 of these PRs have been approved
by the project owners.
- Abstract(参考訳): ソフトウェア開発サイクルにおいて、ソフトウェアのパフォーマンス向上は重要だが困難な部分である。
今日、パフォーマンスの非効率性の大部分は、パフォーマンス専門家によって特定され、パッチされている。
ディープラーニングアプローチの最近の進歩と、オープンソースデータの広範な可用性は、パフォーマンス問題の識別とパッチングを自動化する大きな機会を生み出します。
本稿では,C#アプリケーションのパフォーマンス改善を提案するトランスフォーマーベースのアプローチであるDeepPERFを提案する。
我々は、英語とソースコードコーパスでDeepPERFを事前訓練し、その後C#アプリケーションのパフォーマンス改善パッチを生成するタスクを微調整した。
私たちの評価では、c#開発者が行ったパフォーマンス変更のエキスパート検証データセットで、私たちのモデルが開発者が修正したケースの約53%と同じパフォーマンス改善提案を生成できることが示されています。
さらに、github上の50のオープンソースc#リポジトリにおいて、ベンチマークとユニットテストの両方を使用してdeepperfを評価し、このモデルがcpu使用量とメモリ割り当ての両方を改善する有効なパフォーマンス改善を提案できることを見出した。
これまでのところ、28の異なるパフォーマンス最適化を備えた19のプルリクエストを提出しており、11のprがプロジェクトオーナによって承認されています。
関連論文リスト
- PACE: A Program Analysis Framework for Continuous Performance Prediction [0.0]
PACEはプログラム分析フレームワークで、保留中のコード更新のパフォーマンスへの影響を継続的にフィードバックする。
コード更新によって機能テストケースの実行時間をマッピングすることで,パフォーマンスのマイクロベンチマークを設計する。
我々の実験は、コード性能の予測において、ニューラル表現されたコードスタイメトリーの特徴において、現在の最先端を75%上回る性能を達成した。
論文 参考訳(メタデータ) (2023-12-01T20:43:34Z) - LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。
私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。
提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文 参考訳(メタデータ) (2023-11-25T02:45:50Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳(メタデータ) (2023-10-28T04:07:58Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Towards General and Efficient Online Tuning for Spark [55.30868031221838]
本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。
我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
論文 参考訳(メタデータ) (2023-09-05T02:16:45Z) - Judging Adam: Studying the Performance of Optimization Methods on ML4SE
Tasks [2.8961929092154697]
ソースコードの深層学習モデルを用いて各種の性能を検証した。
Anaheadの選択は、モデルの品質に大きな影響を与えます。
ML4SEコミュニティは、コード関連のディープラーニングタスクのデフォルトとして、Adamを使うべきだ、と提案する。
論文 参考訳(メタデータ) (2023-03-06T22:49:20Z) - Learning Performance-Improving Code Edits [110.40645687991722]
本稿では,大規模言語モデルを高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、77万以上の競合するC++プログラミングサブミッションペアによる、人間プログラマによるパフォーマンス改善編集のデータセットをキュレートする。
学術・産業で使用されるデファクトシミュレータであるgem5フルシステムシミュレータをベースとした環境を設計する。
これらの技術の組み合わせにより、CodeLlama-13Bでは平均5.65X、GPT-3.5では6.86Xのスピードアップが達成され、人間の最高のパフォーマンス(4.06X)を上回った。
論文 参考訳(メタデータ) (2023-02-15T18:59:21Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free
Optimization Algorithms [0.6543507682026964]
Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。
これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。
そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
論文 参考訳(メタデータ) (2021-09-13T19:10:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。