論文の概要: Evaluating the Generalizability of LLMs in Automated Program Repair

• arxiv url: http://arxiv.org/abs/2503.09217v1
• Date: Wed, 12 Mar 2025 10:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:40.551177
• Title: Evaluating the Generalizability of LLMs in Automated Program Repair
• Title（参考訳）: 自動プログラム修復におけるLCMの一般化可能性の評価
• Authors: Fengjie Li, Jiajun Jiang, Jiajun Sun, Hongyu Zhang,
• Abstract要約: DeFECTS4J-TRANSは,Deffects4Jを変換した新しいデータセットである。 Defects4J と DEFECTS4J-TRANS の両実験の結果、LLM は APR タスクにおいて限定的な一般化性を持つことが示された。
• 参考スコア（独自算出の注目度）: 12.7034916462208
• License:
• Abstract: LLM-based automated program repair methods have attracted significant attention for their state-of-the-art performance. However, they were primarily evaluated on a few well known datasets like Defects4J, raising questions about their effectiveness on new datasets. In this study, we evaluate 11 top-performing LLMs on DEFECTS4J-TRANS, a new dataset derived from transforming Defects4J while maintaining the original semantics. Results from experiments on both Defects4J and DEFECTS4J-TRANS show that all studied LLMs have limited generalizability in APR tasks, with the average number of correct and plausible patches decreasing by 49.48% and 42.90%, respectively, on DEFECTS4J-TRANS. Further investigation into incorporating additional repair-relevant information in repair prompts reveals that, although this information significantly enhances the LLMs' capabilities (increasing the number of correct and plausible patches by up to 136.67% and 121.82%, respectively), performance still falls short of their original results. This indicates that prompt engineering alone is insufficient to substantially enhance LLMs' repair capabilities. Based on our study, we also offer several recommendations for future research.
• Abstract（参考訳）: LLMベースの自動プログラム修復手法は、その最先端性能に大きな注目を集めている。 しかし、主にDefects4Jのようなよく知られたデータセットで評価され、新しいデータセットでの有効性に関する疑問が持ち上がった。 本研究では,DefECTS4J-TRANS(DefECTS4J-TRANS)を用いた11個のLLMの評価を行った。 Defects4J と DEFECTS4J-TRANS の両実験の結果、全ての研究された LLM は APR タスクにおいて、それぞれ 49.48% と 42.90% の正当性および可視性パッチの数が、 DEFECTS4J-TRANS でそれぞれ 49.48% 減少している。 補修プロンプトに補修関連情報を追加するためのさらなる調査により、この情報によりLSMの能力は大幅に向上するが(それぞれ136.67%と121.82%の正当性パッチの数が増加する)、性能は依然として元の結果に届かなかったことが判明した。 このことは、迅速な工学だけではLLMの補修能力を大幅に向上させるには不十分であることを示している。 本研究は,今後の研究にいくつかの推奨事項も提示する。

関連論文リスト

• Truth or Mirage? Towards End-to-End Factuality Evaluation with LLM-Oasis [78.07225438556203]
  LLM-Oasisは、エンド・ツー・エンドの事実性評価をトレーニングするための最大のリソースである。 ウィキペディアからクレームを抽出し、これらのクレームのサブセットを偽造し、事実と非事実のテキストのペアを生成することで構築される。 次に、データセットの品質を検証し、事実性評価システムのための金の標準テストセットを作成するために、人間のアノテータに依存します。
  論文  参考訳（メタデータ） (2024-11-29T12:21:15Z)
• Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
  大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。 LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。 以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• See What LLMs Cannot Answer: A Self-Challenge Framework for Uncovering LLM Weaknesses [51.975495361024606]
  本稿では,Human-in-the-loopを用いたセルフチェレンジ評価フレームワークを提案する。 GPT-4が答えられないシードインスタンスから始めて、GPT-4に新しいインスタンスを生成するのに使えるエラーパターンを要約するように促します。 次に,GPT-4が生成する1,835個のインスタンスと,人手によるゴールド応答を併用したベンチマーク,SC-G4を構築した。
  論文  参考訳（メタデータ） (2024-08-16T19:01:52Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• CREF: An LLM-based Conversational Software Repair Framework for Programming Tutors [8.415004837059863]
  既存の修復ベンチマークがLSMのトレーニングデータに影響を与え、データ漏洩を引き起こす可能性があることを認識することが重要である。 本研究は,TutorCode上の12LLMの補修性能,補修精度(TOP-5およびAVG-5)およびパッチ精度(RPSR)を評価する。 LLMの会話能力と強化情報の利点をフル活用するために,人間の教師を支援する対話型半自動修復フレームワークCREFを導入する。
  論文  参考訳（メタデータ） (2024-06-20T03:36:34Z)
• Hybrid Automated Program Repair by Combining Large Language Models and Program Analysis [12.7034916462208]
  自動プログラム修復(APR)は、人間の開発者のバグ修正プロセスを合理化する可能性から、大きな注目を集めている。 本稿ではGIANTREPAIRと呼ばれる革新的なAPR手法を紹介する。 この知見に基づいて、GIANTREPAIRはまず、LLM生成したパッチからパッチスケルトンを構築して、パッチ空間を閉じ込め、その後、特定のプログラムに適した高品質なパッチを生成する。
  論文  参考訳（メタデータ） (2024-06-03T05:05:12Z)
• How Far Can We Go with Practical Function-Level Program Repair? [11.71750828464698]
  本稿では,少数ショット学習機構と補修関連情報が機能レベルAPRに及ぼす影響について検討する。 補修関連情報のパワーを活用するために,デュアルLLM フレームワークを採用した LLM ベースの関数レベル APR 手法,すなわち SRepair を提案する。
  論文  参考訳（メタデータ） (2024-04-19T12:14:09Z)
• Aligning the Objective of LLM-based Program Repair [14.935596175148586]
  本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。 我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。 この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
  論文  参考訳（メタデータ） (2024-04-13T02:36:40Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。