論文の概要: Enhancing Automated Program Repair with Solution Design
- arxiv url: http://arxiv.org/abs/2408.12056v2
- Date: Sun, 22 Sep 2024 03:16:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 05:49:00.899369
- Title: Enhancing Automated Program Repair with Solution Design
- Title(参考訳): ソリューション設計による自動プログラム修復の強化
- Authors: Jiuang Zhao, Donghao Yang, Li Zhang, Xiaoli Lian, Zitian Yang, Fang Liu,
- Abstract要約: DRCodePilot は GPT-4-Turbo の APR 機能を DR をプロンプト命令に組み込むことで拡張する手法である。
DRCodePilotはGPT-4を直接利用するよりも4.7倍高いフルマッチ比を達成しています。
- 参考スコア(独自算出の注目度): 5.547148114448699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic Program Repair (APR) endeavors to autonomously rectify issues within specific projects, which generally encompasses three categories of tasks: bug resolution, new feature development, and feature enhancement. Despite extensive research proposing various methodologies, their efficacy in addressing real issues remains unsatisfactory. It's worth noting that, typically, engineers have design rationales (DR) on solution-planed solutions and a set of underlying reasons-before they start patching code. In open-source projects, these DRs are frequently captured in issue logs through project management tools like Jira. This raises a compelling question: How can we leverage DR scattered across the issue logs to efficiently enhance APR? To investigate this premise, we introduce DRCodePilot, an approach designed to augment GPT-4-Turbo's APR capabilities by incorporating DR into the prompt instruction. Furthermore, given GPT-4's constraints in fully grasping the broader project context and occasional shortcomings in generating precise identifiers, we have devised a feedback-based self-reflective framework, in which we prompt GPT-4 to reconsider and refine its outputs by referencing a provided patch and suggested identifiers. We have established a benchmark comprising 938 issue-patch pairs sourced from two open-source repositories hosted on GitHub and Jira. Our experimental results are impressive: DRCodePilot achieves a full-match ratio that is a remarkable 4.7x higher than when GPT-4 is utilized directly. Additionally, the CodeBLEU scores also exhibit promising enhancements. Moreover, our findings reveal that the standalone application of DR can yield promising increase in the full-match ratio across CodeLlama, GPT-3.5, and GPT-4 within our benchmark suite. We believe that our DRCodePilot initiative heralds a novel human-in-the-loop avenue for advancing the field of APR.
- Abstract(参考訳): 自動プログラム修正(APR)は、バグ解決、新機能開発、機能強化の3つのカテゴリを含む、特定のプロジェクト内の問題を自律的に修正する試みである。
様々な方法論を提唱する広範な研究にもかかわらず、実際の問題に対処する効果は相変わらず不十分である。
一般的に、エンジニアは、ソリューション計画のソリューションと基本的な理由のセットについて、設計の合理性(DR)を持っています。
オープンソースプロジェクトでは、これらのDRはJiraのようなプロジェクト管理ツールを通じて、イシューログにキャプチャされることが多い。
問題ログに散在するDRを活用して、APRを効率的に拡張するにはどうすればよいのか?
DRCodePilot は GPT-4-Turbo の APR 機能を強化し,DR をプロンプト命令に組み込む手法である。
さらに, GPT-4のプロジェクトコンテキストを十分に把握する上での制約や, 正確な識別子を生成する上での欠点を考慮し, フィードバックに基づく自己回帰フレームワークを考案し, 提案したパッチや提案した識別子を参照して, GPT-4のアウトプットを再検討し, 改善するよう促した。
GitHubとJiraにホストされている2つのオープンソースリポジトリからソースされた938のイシューパッチペアからなるベンチマークを確立しました。
DRCodePilotはGPT-4を直接利用するよりも4.7倍高いフルマッチ比を達成しています。
さらに、CodeBLEUスコアも有望な拡張を示している。
さらに,本研究では, DRのスタンドアロン適用により, ベンチマークスイート内でのCodeLlama, GPT-3.5, GPT-4間のフルマッチ比が向上する可能性が示唆された。
我々は、DRCodePilotイニシアチブが、APRの分野を前進させる新しい人道となると信じている。
関連論文リスト
- SPRINT: An Assistant for Issue Report Management [1.9451328614697958]
Sprintは、最先端のディープラーニング技術を使用して、イシュー管理タスクを合理化するGitHubアプリケーションである。
Sprintは、新しく報告された問題に似た既存の問題を特定し、問題の深刻度を予測し、問題の解決に修正を必要とする可能性のあるコードファイルを提案する。
スプリントは正確で、有用で、有用であり、問題レポートを管理する開発者を支援する効果の証拠を提供する。
論文 参考訳(メタデータ) (2025-02-06T15:29:35Z) - Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳(メタデータ) (2025-01-28T15:41:54Z) - AIC CTU system at AVeriTeC: Re-framing automated fact-checking as a simple RAG task [0.0]
本稿では、簡易な検索・拡張生成法(RAG)を用いて、野生で回収された証拠を用いた事実確認の課題に対する解決法について述べる。
我々は、その2つのモジュール、Retriever と Evidence & Label ジェネレータを詳細に説明し、MMR-re rank や Likert-scale confidence estimation などの特徴を正当化します。
我々は、予測の欠陥がデータ内のノイズや曖昧な事実チェックとよく一致し、さらなる研究とデータの増大を引き起こすことを実証的エラー解析により確認する。
論文 参考訳(メタデータ) (2024-10-15T09:50:19Z) - SpecRover: Code Intent Extraction via LLMs [7.742980618437681]
仕様推論は、高品質なプログラムパッチを作成するのに役立ちます。
当社のアプローチであるSpecRover(AutoCodeRover-v2)は,オープンソースのLLMエージェントであるAutoCodeRover上に構築されています。
2294のGitHubイシューからなる完全なSWE-Benchの評価では、AutoCodeRoverよりも50%以上改善されている。
論文 参考訳(メタデータ) (2024-08-05T04:53:01Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-07-11T06:50:19Z) - How to Understand Whole Software Repository? [64.19431011897515]
リポジトリ全体に対する優れた理解は、自動ソフトウェアエンジニアリング(ASE)への重要な道になるでしょう。
本研究では,リポジトリ全体を包括的に理解するためのエージェントによるRepoUnderstanderという新しい手法を開発した。
リポジトリレベルの知識をより活用するために、エージェントをまとめ、分析し、計画する。
論文 参考訳(メタデータ) (2024-06-03T15:20:06Z) - A Novel Approach for Automated Design Information Mining from Issue Logs [3.5665328754813768]
DRMinerは、オープンソースコミュニティにおける開発者のライブディスカッションから、潜在設計の根拠を自動的に掘り下げる新しい方法である。
私たちはJiraのCassandra、Flink、Solrリポジトリからイシューログを取得し、それを注釈付けして厳格なスキームで処理します。
DRMinerは設計の合理性についてF1スコアを65%獲得し、GPT-4.0よりも7%向上した。
論文 参考訳(メタデータ) (2024-05-30T02:20:04Z) - Reverse Image Retrieval Cues Parametric Memory in Multimodal LLMs [54.054334823194615]
逆画像検索(Reverse Image Retrieval, RIR)拡張生成は, Web スケールの逆画像検索で MLLM を増強する単純な方法である。
RIRは、GPT-4Vの知識集約型視覚質問応答(VQA)を37-43%、GPT-4 Turboを25-27%、GPT-4oを18-20%改善する。
論文 参考訳(メタデータ) (2024-05-29T04:00:41Z) - User-Centric Deployment of Automated Program Repair at Bloomberg [13.994851524965016]
本稿では,ソフトウェア技術者に最適な時間,目標,自動生成パッチを提案する。
私たちはGitHubのSuggested Changesインターフェースを使用して、自動提案をプルリクエストにシームレスに統合しています。
ユーザ調査からB-Assistの有効性は明らかであり,パッチ提案の受け入れ率は74.56%である。
論文 参考訳(メタデータ) (2023-11-17T13:39:48Z) - RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic
Program Repair [75.40584530380589]
新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。
RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。
RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
論文 参考訳(メタデータ) (2023-09-12T08:52:56Z) - Generalized Planning in PDDL Domains with Pretrained Large Language
Models [82.24479434984426]
PDDLドメインを考慮し、GPT-4を用いてPythonプログラムを合成する。
7つのPDDLドメインでこのアプローチを評価し、4つのアブレーションと4つのベースラインと比較した。
論文 参考訳(メタデータ) (2023-05-18T14:48:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。