論文の概要: Do AI models help produce verified bug fixes?

• arxiv url: http://arxiv.org/abs/2507.15822v1
• Date: Mon, 21 Jul 2025 17:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.507626
• Title: Do AI models help produce verified bug fixes?
• Title（参考訳）: AIモデルは、検証済みのバグ修正に役立つか?
• Authors: Li Huang, Ilgiz Mustafin, Marco Piccioni, Alessandro Schena, Reto Weber, Bertrand Meyer,
• Abstract要約: 大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
• 参考スコア（独自算出の注目度）: 62.985237003585674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among areas of software engineering where AI techniques -- particularly, Large Language Models -- seem poised to yield dramatic improvements, an attractive candidate is Automatic Program Repair (APR), the production of satisfactory corrections to software bugs. Does this expectation materialize in practice? How do we find out, making sure that proposed corrections actually work? If programmers have access to LLMs, how do they actually use them to complement their own skills? To answer these questions, we took advantage of the availability of a program-proving environment, which formally determines the correctness of proposed fixes, to conduct a study of program debugging with two randomly assigned groups of programmers, one with access to LLMs and the other without, both validating their answers through the proof tools. The methodology relied on a division into general research questions (Goals in the Goal-Query-Metric approach), specific elements admitting specific answers (Queries), and measurements supporting these answers (Metrics). While applied so far to a limited sample size, the results are a first step towards delineating a proper role for AI and LLMs in providing guaranteed-correct fixes to program bugs. These results caused surprise as compared to what one might expect from the use of AI for debugging and APR. The contributions also include: a detailed methodology for experiments in the use of LLMs for debugging, which other projects can reuse; a fine-grain analysis of programmer behavior, made possible by the use of full-session recording; a definition of patterns of use of LLMs, with 7 distinct categories; and validated advice for getting the best of LLMs for debugging and Automatic Program Repair.
• Abstract（参考訳）: AI技術(特に大規模言語モデル)が劇的な改善をもたらす可能性があるソフトウェアエンジニアリングの分野の中で、魅力的な候補は自動プログラム修正(APR)である。 この期待は実際に実現しますか? 提案された修正が実際に機能することを確認するにはどうすればいいのか? プログラマがLLMにアクセスできれば、自分たちのスキルを補完するために実際にどのように使うのでしょうか? これらの問題に対処するために,提案した修正の正しさを正式に決定するプログラム提供環境の可用性を活用し,プログラムデバッグをランダムに割り当てた2つのプログラマグループで実施した。 この方法論は、一般的な研究課題(ゴール・クエリ・メトリック・アプローチのゴール)、特定の回答を認める特定の要素(クエリ)、これらの回答を支持する測定(メトリクス)に大きく依存した。 これまでのところ、限られたサンプルサイズに適用されているが、この結果は、プログラムバグに対する保証された修正を提供することにおいて、AIとLLMの適切な役割を規定する最初のステップである。 これらの結果は、デバッグとAPRにAIを使用することで期待するものと比較して、驚きを招いた。 コントリビューションには、他のプロジェクトで再利用可能な、デバッグにLLMを使用する実験のための詳細な方法論、全セッション記録を使用することで可能になったプログラマの振る舞いの微粒な分析、 7つの異なるカテゴリでLLMを使用するパターンの定義、デバッグと自動プログラム修正にLLMを最大限に活用するための検証済みのアドバイスが含まれている。

関連論文リスト

• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [84.30534714651093]
  本稿では,検証を意識したプログラミング言語であるDafnyに対して,革新的なAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoare Logicの使用を含む一連のステップを通じて、障害をローカライズします。 実世界のDafnyプログラムのベンチマークであるDafnyBenchを用いて,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)
• Counterexample Guided Program Repair Using Zero-Shot Learning and MaxSAT-based Fault Localization [0.0]
  導入プログラミング課題(IPAs)のための自動プログラム修復(APR)は、多数の学生の参加によって動機付けられている。 本稿では,FMに基づく障害局所化とLarge Language Models(LLMs)の長所を組み合わせた新しいアプローチを提案する。 提案手法では,MaxSATに基づく障害位置定位法を用いて,プログラムのバグ部分を特定し,これらのバグ文を欠いたプログラムスケッチをLLMに提示する。
  論文  参考訳（メタデータ） (2024-12-19T12:08:44Z)
• A Comprehensive Survey of AI-Driven Advancements and Techniques in Automated Program Repair and Code Generation [0.0]
  最近27の論文がレビューされ、2つのグループに分けられた。 最初のグループは、意味的エラーの特定を含む、バグの検出と修復のための新しいメソッドで構成されている。 2つ目のグループはコード生成に精通しており、プログラミングとタスク固有のモデルのために微調整された汎用LLMの概要を提供している。 また、識別子認識トレーニング、命令レベルでの微調整、セマンティックコード構造の導入など、コード生成を改善する方法も提示されている。
  論文  参考訳（メタデータ） (2024-11-12T06:47:54Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Benchmarking Educational Program Repair [4.981275578987307]
  大きな言語モデル(LLM)は、学習リソースの生成、エラーメッセージの改善、コードに対するフィードバックの提供に使用することができる。 競合するアプローチの公平な比較を容易にするため、標準化とベンチマークが強く求められている。 本稿では,新しい教育プログラム修復ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T18:23:59Z)
• Aligning the Objective of LLM-based Program Repair [14.935596175148586]
  本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。 我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。 この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
  論文  参考訳（メタデータ） (2024-04-13T02:36:40Z)
• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• Fault-Aware Neural Code Rankers [64.41888054066861]
  サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。 我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-06-04T22:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。