論文の概要: Towards the Generalizability of Leveraging ChatGPT in APR via Self-enhancing: An Empirical Study

• arxiv url: http://arxiv.org/abs/2609.22844v1
• Date: Sat, 19 Sep 2026 07:28:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:18:15.314927
• Title: Towards the Generalizability of Leveraging ChatGPT in APR via Self-enhancing: An Empirical Study
• Title（参考訳）: 自己啓発によるAPRにおけるチャットGPT活用の一般化可能性--実証的研究
• Abstract要約: 本稿では,ChatGPTで強化された3つのAPR手法を3つの有意な長期ベンチマークで評価する。 GPT-3.5-Turboでは、SRepairはDefects4JよりもHumanEval-Javaで絶対的なゲインを達成し、SRepairとFixAgentは外部情報を持たないとBugsInPyで負のゲインを得る。 GPT-5.4-miniでは、評価されたメソッドはHumanEval-JavaよりもDefects4Jで絶対的なゲインを達成する。
• 参考スコア（独自算出の注目度）: 17.506299184731866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Program Repair (APR) increasingly relies on Large Language Models (LLMs). ChatGPT-enhanced APR uses techniques such as self-correction and autonomous agents to improve repair without modifying model parameters. Although these approaches report strong results on Defects4J and SWE-bench, the stability of enhancement gains across benchmarks remains under-explored. We evaluate three ChatGPT-enhanced APR methods on three representative, long-standing benchmarks. With GPT-3.5-Turbo, SRepair achieves a larger absolute gain on HumanEval-Java than on Defects4J, while SRepair and FixAgent without extrinsic information yield negative gains on BugsInPy. With GPT-5.4-mini, the evaluated methods achieve larger absolute gains on Defects4J than on HumanEval-Java, while gains on BugsInPy are non-negative but limited. We investigate benchmark-related factors through code transformations and benchmark-specific fine-tuning. Code transformations reduce enhancement gains on Defects4J, while benchmark-specific fine-tuning increases gains on BugsInPy. Directly supplying GPT-3.5-Turbo with error messages and triggering tests yields more correct repairs than the evaluated ChatGPT-enhanced APR methods on BugsInPy. These findings highlight the need to evaluate generalizability across benchmarks and models using multiple metrics, and suggest that directly providing repair-specific extrinsic information may be more effective than enhancement methods when their gains are limited.
• Abstract（参考訳）: APR(Automated Program repair)は、大規模言語モデル(LLM)に依存している。 ChatGPTで強化されたAPRは、自己補正や自律エージェントのような技術を使用して、モデルパラメータを変更することなく、修復を改善する。 これらの手法はDefects4J と SWE-bench に強い結果を報告しているが、ベンチマーク間での強化利得の安定性は未解明のままである。 本稿では,ChatGPTで強化された3つのAPR手法を3つの有意な長期ベンチマークで評価する。 GPT-3.5-Turboでは、SRepairはDefects4JよりもHumanEval-Javaで絶対的なゲインを達成し、SRepairとFixAgentは外部情報を持たないとBugsInPyで負のゲインを得る。 GPT-5.4-miniでは、評価されたメソッドはHumanEval-JavaよりもDefects4Jで絶対的なゲインを達成する。 コード変換とベンチマーク固有の微調整によるベンチマーク関連要因について検討する。 コード変換はDefects4Jのエンハンスメントゲインを減らし、ベンチマーク固有の微調整はBugsInPyのゲインを増す。 GPT-3.5-Turboにエラーメッセージとトリガーテストを直接供給すると、BugsInPy上で評価されたChatGPT拡張APRメソッドよりも、より正確な修正が得られる。 これらの知見は、複数の指標を用いてベンチマークやモデル間での一般化性を評価することの必要性を浮き彫りにし、その利得が制限された場合には、修理固有の外部情報を直接提供する方が改善方法よりも効果的である可能性を示唆している。

関連論文リスト

• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• GMA-SAWGAN-GP: A Novel Data Generative Framework to Enhance IDS Detection Performance [0.2530367162206854]
  侵入検知システム(IDS)は、しばしば既知の攻撃に校正され、未知の脅威に悪影響を及ぼす。 本稿では,GMA-SAWGAN-GPを提案する。
  論文  参考訳（メタデータ） (2026-03-30T14:35:23Z)
• On the Effectiveness of Code Representation in Deep Learning-Based Automated Patch Correctness Assessment [27.074607600022315]
  自動プログラム修復(APR)は、正しいパッチを作成しようとする試みであり、過去数十年間、学術と産業の両方から広く注目を集めてきた。 オーバーフィッティング問題に対処するため、コミュニティはパッチの正当性(APCAアプローチ)を予測するためのアプローチを多数提案している。 中でも,デザインの自動マッチングを目的とした局所的な深層学習アプローチが強くなってきている。 パッチの正確性には根本的な理由があるにもかかわらず、コード表現は体系的に研究されていない。
  論文  参考訳（メタデータ） (2026-03-08T08:18:42Z)
• Automated Repair of C Programs Using Large Language Models [0.0]
  本研究では,Cプログラムの修復を自動化する上で,LLM(Large Language Models)の可能性について検討する。 本稿では,SBFL(Spectrum-based Fault Localization),ランタイムフィードバック,Chain-of-Thought-structured(Chain-of-Thought-structured)を自動修復ループに統合するフレームワークを提案する。 我々の手法は44.93%の修理精度を達成し、最先端のAPRベースラインに対する3.61%の絶対的な改善を示している。
  論文  参考訳（メタデータ） (2025-09-02T04:34:11Z)
• Refactoring $\neq$ Bug-Inducing: Improving Defect Prediction with Code Change Tactics Analysis [54.361900378970134]
  Just-in-time defect prediction (JIT-DP) は、早期にソフトウェア欠陥を引き起こすコード変更の可能性を予測することを目的としている。 これまでの研究は、その頻度にもかかわらず、評価フェーズと方法論フェーズの両方でコードを無視してきた。 JIT-Defects4Jデータセットのラベリング精度を13.7%向上させるコードと伝播を分類するためのCode chAnge Tactics (CAT)解析を提案する。
  論文  参考訳（メタデータ） (2025-07-25T23:29:25Z)
• Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
  我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。 また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
  論文  参考訳（メタデータ） (2023-10-20T20:17:09Z)
• RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair [75.40584530380589]
  新たな検索型パッチ生成フレームワーク(RAP-Gen)を提案する。 RAP-Gen 以前のバグ修正ペアのリストから取得した関連する修正パターンを明示的に活用する。 RAP-GenをJavaScriptのTFixベンチマークとJavaのCode RefinementとDefects4Jベンチマークの2つのプログラミング言語で評価する。
  論文  参考訳（メタデータ） (2023-09-12T08:52:56Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。