論文の概要: HAFix: History-Augmented Large Language Models for Bug Fixing
- arxiv url: http://arxiv.org/abs/2501.09135v1
- Date: Wed, 15 Jan 2025 20:39:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:11:20.451900
- Title: HAFix: History-Augmented Large Language Models for Bug Fixing
- Title（参考訳）: HAFix: バグ修正のための履歴強化された大規模言語モデル
- Authors: Yu Shi, Abdul Ali Bangash, Emad Fallahzadeh, Bram Adams, Ahmed E. Hassan,
- Abstract要約: バグ修正におけるヒストリ拡張LDMを表すHAFixを提案する。
11のオープンソースプロジェクトからソースを得た51の単一行バグのデータセットにCode Llamaを採用し、バグの歴史的コンテキストデータをマイニングしています。
評価の結果,歴史的Llamasはバグ修正性能を著しく向上させることがわかった。
- 参考スコア（独自算出の注目度）: 14.593589983869135
- License:
- Abstract: Recent studies have explored the performance of Large Language Models (LLMs) on various Software Engineering (SE) tasks, such as code generation and bug fixing. However, these approaches typically rely on the context data from the current snapshot of the project, overlooking the potential of rich historical data from real-world software repositories. Additionally, the impact of prompt styles on LLM performance within a historical context remains underexplored. To address these gaps, we propose HAFix, which stands for History-Augmented LLMs on Bug Fixing, a novel approach that leverages individual historical heuristics associated with bugs and aggregates the results of these heuristics (HAFix-Agg) to enhance LLMs' bug-fixing capabilities. To empirically evaluate HAFix, we employ Code Llama on a dataset of 51 single-line bugs, sourced from 11 open-source projects, by mining the historical context data of bugs and operationalizing this context in the form of seven heuristics. Our evaluation demonstrates that historical heuristics significantly enhance bug-fixing performance. For example, the FLN-all heuristic achieves a 10% improvement in performance compared to a non-historical baseline inspired by GitHub Copilot. Furthermore, HAFix-Agg fixes 45% more bugs than the baseline, outperforming FLN-all and demonstrating the best performance overall. Moreover, within the context of historical heuristics, we identify the Instruction style prompt as the most effective template for LLMs in bug fixing. Finally, we provide a pragmatic trade-off analysis of bug-fixing performance, cost, and time efficiency, offering valuable insights for the practical deployment of our approach in real-world scenarios.
- Abstract（参考訳）: 近年、コード生成やバグ修正など様々なソフトウェア工学(SE)タスクにおいて、LLM(Large Language Models)の性能について検討している。
しかしながら、これらのアプローチは一般的にプロジェクトの現在のスナップショットからのコンテキストデータに依存しており、実際のソフトウェアリポジトリからの豊富な履歴データの可能性を見越している。
さらに、歴史的文脈におけるLLMのパフォーマンスに対するプロンプトスタイルの影響については、未解明のままである。
これらのギャップに対処するために,HAFixを提案する。HAFixはバグ修正に関するヒストリー拡張LDM(History-Augmented LLMs on Bug Fixing)の略で,バグに関連する個々の履歴ヒューリスティックを活用し,これらのヒューリスティック(HAFix-Agg)の結果を集約し,LLMのバグ修正機能を強化する新しいアプローチである。
HAFixを実証的に評価するために、11のオープンソースプロジェクトからソースされた51の単一行バグのデータセットにCode Llamaを使用し、バグの歴史的コンテキストデータをマイニングし、このコンテキストを7つのヒューリスティックな形で運用する。
本評価は,歴史的ヒューリスティックスがバグ修正性能を著しく向上させることを示す。
例えば、FLN-allヒューリスティックは、GitHub Copilotにインスパイアされた非歴史的ベースラインと比較して10%のパフォーマンス改善を実現している。
さらに、HAFix-Aggはベースラインよりも45%バグを修正し、FLN-allを上回っ、全体として最高のパフォーマンスを示している。
さらに, 歴史的ヒューリスティックスの観点からは, インストラクションスタイルプロンプトがバグ修正における LLM の最も効果的なテンプレートであることを示す。
最後に、私たちはバグフィックスのパフォーマンス、コスト、時間効率の実践的なトレードオフ分析を提供し、実際のシナリオにおけるアプローチの実践的な展開に関する貴重な洞察を提供します。
関連論文リスト
- PATCH: Empowering Large Language Model with Programmer-Intent Guidance and Collaborative-Behavior Simulation for Automatic Bug Fixing [34.768989900184636]
バグ修正は、ソフトウェア開発とメンテナンスにおいて重要な意味を持つ。
最近の研究は、ソフトウェアバグを自動的に解決する大規模言語モデル(LLM)の可能性を探ることに大きく貢献している。
論文 参考訳（メタデータ） (2025-01-27T15:43:04Z) - Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
AoPS-Instructは60,000以上の高品質QAペアのデータセットである。
LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。
我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
論文 参考訳（メタデータ） (2025-01-24T06:39:38Z) - Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance [21.926934384262594]
大きな言語モデル(LLM)は、アノテーションプロセスを強化する新しい機会を提供する。
合意、ラベルの品質、効率の点で、専門家、クラウドソース、LLMベースのアノテーションを比較します。
以上の結果から,ラベルエラーがかなり多く,修正されると,報告されたモデル性能が大幅に上向きに変化することが判明した。
論文 参考訳（メタデータ） (2024-10-24T16:27:03Z) - What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - A Deep Dive into Large Language Models for Automated Bug Localization and Repair [12.756202755547024]
大規模言語モデル(LLM)は、自動プログラム修復(APR)など、様々なソフトウェアエンジニアリングタスクにおいて顕著な効果を示している。
本研究では,LSMを用いた自動バグ修正について深く検討する。
異なるLLMを用いてバグの局所化と修正を分離することにより、多様なコンテキスト情報の効果的な統合が可能になる。
Toggleは、CodeXGLUEコード改善ベンチマークで、新しい最先端(SOTA)パフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-04-17T17:48:18Z) - Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である
我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。
テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
論文 参考訳（メタデータ） (2024-04-01T06:01:17Z) - Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳（メタデータ） (2024-03-12T13:31:14Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-10-24T08:56:49Z) - The GitHub Recent Bugs Dataset for Evaluating LLM-based Debugging
Applications [20.339673903885483]
大規模言語モデル(LLM)は、強力な自然言語処理とコード合成機能を示している。
LLMのトレーニングデータの詳細は公開されていないことが多く、既存のバグベンチマークが含まれているかどうかが懸念されている。
このデータセットには、OpenAIデータカットオフポイント後に収集された76の現実世界のJavaバグが含まれている。
論文 参考訳（メタデータ） (2023-10-20T02:37:44Z) - Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。
本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。
本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
論文 参考訳（メタデータ） (2023-05-22T16:00:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。