論文の概要: Evaluating Pre-trained Language Models for Repairing API Misuses
- arxiv url: http://arxiv.org/abs/2310.16390v1
- Date: Wed, 25 Oct 2023 06:10:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 16:27:28.644504
- Title: Evaluating Pre-trained Language Models for Repairing API Misuses
- Title(参考訳): api誤用修復のための事前学習言語モデルの評価
- Authors: Ting Zhang and Ivana Clairine Irsan and Ferdian Thung and David Lo and
Asankhaya Sharma and Lingxiao Jiang
- Abstract要約: APIの誤用は、ソフトウェアバグやクラッシュ、脆弱性につながることが多い。
最近の研究では、テストスーツベースの自動プログラム修復(APR)ツールが、API誤用の修復に有効でないことが判明した。
我々は,現在最先端の汎用PLMの9つと,APRツールの2つを含む,11種類の学習支援APRツールに関する総合的研究を行った。
以上の結果から, PLMはAPI誤用を修復する際のAPRツールよりも優れた性能を示した。
- 参考スコア(独自算出の注目度): 15.17607624946389
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: API misuses often lead to software bugs, crashes, and vulnerabilities. While
several API misuse detectors have been proposed, there are no automatic repair
tools specifically designed for this purpose. In a recent study,
test-suite-based automatic program repair (APR) tools were found to be
ineffective in repairing API misuses. Still, since the study focused on
non-learning-aided APR tools, it remains unknown whether learning-aided APR
tools are capable of fixing API misuses. In recent years, pre-trained language
models (PLMs) have succeeded greatly in many natural language processing tasks.
There is a rising interest in applying PLMs to APR. However, there has not been
any study that investigates the effectiveness of PLMs in repairing API misuse.
To fill this gap, we conduct a comprehensive empirical study on 11
learning-aided APR tools, which include 9 of the state-of-the-art
general-purpose PLMs and two APR tools. We evaluate these models with an
API-misuse repair dataset, consisting of two variants. Our results show that
PLMs perform better than the studied APR tools in repairing API misuses. Among
the 9 pre-trained models tested, CodeT5 is the best performer in the exact
match. We also offer insights and potential exploration directions for future
research.
- Abstract(参考訳): APIの誤用は、ソフトウェアバグやクラッシュ、脆弱性につながることが多い。
api誤用検出器がいくつか提案されているが、この目的のために特別に設計された自動修理ツールは存在しない。
最近の研究では、テストスーツベースの自動プログラム修復(APR)ツールがAPI誤用の修復に有効でないことが判明した。
しかし、この研究は非学習支援aprツールに焦点を当てているため、学習支援aprツールがapi誤用を修正できるかどうかは不明だ。
近年,プレトレーニング言語モデル(PLM)は多くの自然言語処理タスクで大きく成功している。
PLMをAPRに適用することへの関心が高まっている。
しかし,API誤用修復におけるPLMの有効性について検討する研究は行われていない。
このギャップを埋めるために,我々は,最先端の汎用plmと2つのaprツールの9つを含む11の学習支援aprツールに関する包括的実証研究を行った。
これらのモデルを2つの変種からなるapi-misuse repairデータセットで評価する。
以上の結果から, PLMはAPI誤用を修復する際のAPRツールよりも優れていた。
事前訓練された9つのモデルの中で、CodeT5は正確なマッチで最高のパフォーマーである。
また、今後の研究のための洞察と潜在的な探索の方向も提供します。
関連論文リスト
- A Novel Approach for Automatic Program Repair using Round-Trip
Translation with Large Language Models [50.86686630756207]
研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。
現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。
本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T22:36:31Z) - Practical Program Repair via Preference-based Ensemble Strategy [28.176710503313895]
本稿では、異なるバグを修復するためのAPRツールのランク付けを行うためのPreference-based Ensemble Program repair framework(P-EPR)を提案する。
P-EPRは、修復パターンを利用した最初の非学習ベースのAPRアンサンブル法である。
実験の結果,P-EPRは柔軟性と有効性の両方において既存の戦略よりも優れていた。
論文 参考訳(メタデータ) (2023-09-15T07:23:04Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳(メタデータ) (2023-07-31T15:56:53Z) - API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs [84.45284695156771]
API-Bankは、ツール強化された大規模言語モデルのための画期的なベンチマークである。
73のAPIツールからなる実行評価システムを開発した。
我々は、1,000の異なるドメインにまたがる2,138のAPIから1,888のツール使用対話を含む総合的なトレーニングセットを構築した。
論文 参考訳(メタデータ) (2023-04-14T14:05:32Z) - Revisiting the Plastic Surgery Hypothesis via Large Language Models [9.904030364454563]
本稿では,大規模言語モデルを直接利用するFitRepairと,ドメイン固有の2つの微調整戦略と,より強力なAPR戦略とを組み合わせたFitRepairを提案する。
広く研究されているDefects4j 1.2と2.0データセットに関する実験は、FitRepairが89と44のバグを修正したことを示している。
論文 参考訳(メタデータ) (2023-03-18T20:33:46Z) - A Survey of Learning-based Automated Program Repair [12.09968472868107]
自動プログラム修復(APR)は、ソフトウェアバグを自動修正することを目的としており、ソフトウェア開発とメンテナンスにおいて重要な役割を果たす。
近年のディープラーニング(DL)の進歩により、ニューラルネットワークを活用して大規模なオープンソースコードリポジトリからバグフィックスパターンを学ぶためのAPR技術が増えている。
本稿では,学習型APRコミュニティにおける最先端研究を要約するために,体系的な調査を行う。
論文 参考訳(メタデータ) (2023-01-09T11:08:15Z) - Improving Automated Program Repair with Domain Adaptation [0.0]
自動プログラム修復(APR)は、ソースコードのバグ/欠陥を修正するプロセスとして、自動化ツールによって定義される。
APRツールは最近、最先端のニューラルネットワーク処理(NLP)技術を活用することで、有望な結果を経験している。
論文 参考訳(メタデータ) (2022-12-21T23:52:09Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳(メタデータ) (2022-07-21T20:17:53Z) - Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。
ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。
DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文 参考訳(メタデータ) (2022-05-23T10:11:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。