論文の概要: From Benchmark Data To Applicable Program Repair: An Experience Report

• arxiv url: http://arxiv.org/abs/2508.16071v1
• Date: Fri, 22 Aug 2025 03:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.244025
• Title: From Benchmark Data To Applicable Program Repair: An Experience Report
• Title（参考訳）: ベンチマークデータから適用可能なプログラム修復まで:エクスペリエンスレポート
• Authors: Mahinthan Chandramohan, Jovan Jancic, Yuntong Zhang, Padmanabhan Krishnan,
• Abstract要約: 本稿では,プログラムの自動修復へのアプローチについて述べる。 我々はこの目的を達成するために文学の様々な技法を組み合わせている。 実験の結果,我々の手法は標準ベンチマークの他の手法よりも優れていることがわかった。 綿密な検査では、これらのテクニックはいずれも、業界で見られる現実的な欠陥には効かない。
• 参考スコア（独自算出の注目度）: 1.6913109767046948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes our approach to automated program repair. We combine various techniques from the literature to achieve this. Our experiments show that our approach performs better than other techniques on standard benchmarks. However, on closer inspection, none of these techniques work on realistic defects that we see in industry. We find that augmenting code with formal specifications enables LLMs to generate higher-quality unit tests, especially for complex production code with improved coverage of edge cases and exception handling. However, specifications add little value for well-understood errors (e.g., null pointer, index out of bounds), but are beneficial for logic and string manipulation errors. Despite encouraging benchmark results, real-world adoption is limited since passing tests do not guarantee correct patches. Current challenges include insufficient expressiveness of the JML specification language, necessitating advanced verification tools and richer predicates. Our ongoing work is exploring contract automata, programming by example, and testcase repair, with a focus on integrating human feedback and measuring productivity gains - highlighting the gap between academic benchmarks and practical industry needs
• Abstract（参考訳）: 本稿では,プログラムの自動修復へのアプローチについて述べる。 我々はこの目的を達成するために文学の様々な技法を組み合わせている。 実験の結果,我々の手法は標準ベンチマークの他の手法よりも優れていることがわかった。 しかし、綿密な検査では、これらのテクニックはいずれも、業界で見られる現実的な欠陥には機能しません。 形式的な仕様でコードを拡張することで、特にエッジケースや例外処理のカバレッジが向上した複雑な実運用コードにおいて、LCMは高品質な単体テストを生成することができる。 しかし、仕様はよく理解されたエラー(例えばnullポインタ、境界外インデックス)に対してほとんど価値を付けないが、ロジックや文字列操作のエラーには有益である。 ベンチマーク結果の奨励にもかかわらず、テストのパスが正しいパッチを保証しないため、実際の採用は限られている。 現在の課題は、JML仕様言語の表現力の不足、高度な検証ツールとより豊かな述語を必要とすることである。 現在進行中の作業は,契約の自動化,例によるプログラミング,テストケースの修復などです。人間のフィードバックの統合と生産性向上の計測 – 学術ベンチマークと実践的産業ニーズのギャップを浮き彫りにします。

関連論文リスト

• Do AI models help produce verified bug fixes? [62.985237003585674]
  大規模言語モデルは、ソフトウェアバグの修正に使用される。 本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。 その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
  論文  参考訳（メタデータ） (2025-07-21T17:30:16Z)
• Specification-Guided Repair of Arithmetic Errors in Dafny Programs using LLMs [84.30534714651093]
  本稿では,検証を意識したプログラミング言語であるDafnyに対して,革新的なAPRツールを提案する。 プログラム内の各ステートメントの状態を決定するために、Hoare Logicの使用を含む一連のステップを通じて、障害をローカライズします。 実世界のDafnyプログラムのベンチマークであるDafnyBenchを用いて,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:12Z)
• Towards Automated Formal Verification of Backend Systems with LLMs [9.66648456498893]
  バックエンドのコードを形式的なリーン表現に変換するために,関数型プログラミングと型システムを活用する新しいフレームワークを提案する。 我々のパイプラインは、APIやデータベース操作の意図した振る舞いを規定する定理を自動生成し、LSMベースのプロバーを用いて検証する。 本手法を現実的なバックエンドシステム上で評価した結果,テスト要件の50%以上を正式に検証できることがわかった。
  論文  参考訳（メタデータ） (2025-04-13T16:49:37Z)
• Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
  大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。 中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。 Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
  本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。 構築されたTROCtxの増強により、幻覚は57.1%減少する。
  論文  参考訳（メタデータ） (2024-07-04T04:24:43Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Benchmarking Educational Program Repair [4.981275578987307]
  大きな言語モデル(LLM)は、学習リソースの生成、エラーメッセージの改善、コードに対するフィードバックの提供に使用することができる。 競合するアプローチの公平な比較を容易にするため、標準化とベンチマークが強く求められている。 本稿では,新しい教育プログラム修復ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T18:23:59Z)
• From Misuse to Mastery: Enhancing Code Generation with Knowledge-Driven AI Chaining [16.749379740049925]
  大きな言語モデル(LLM)は、コーディング効率をある程度改善することで、自動コード生成の有望な結果を示している。 しかし、LLMが優れたプログラミングプラクティスを欠いているため、高品質で信頼性の高いコードを生成することは、依然として恐ろしい作業である。 我々は、コード生成を反復的なチェック-リライトステップでAIチェーンに分解する、知識駆動型Prompt Chainingベースのコード生成手法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T12:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。