論文の概要: Finding the Pivots to Repair Broken Source-Test Evolution Using LLMs

• arxiv url: http://arxiv.org/abs/2611.03197v1
• Date: Mon, 02 Nov 2026 14:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:46:29.451957
• Title: Finding the Pivots to Repair Broken Source-Test Evolution Using LLMs
• Title（参考訳）: LLMを用いた震源検定の精度向上のためのピボットの探索
• Abstract要約: 大規模言語モデル(LLM)を用いたソース-テスト共進化のためのテスト修復について検討する。 結果は、テスト失敗の症状、ソースコードの変更、サポートコードコンテキストの組み合わせによるメリットを明らかにします。 Codexエージェントに本研究を適用すれば,難治症例の修復成功率が66.7%向上する。
• 参考スコア（独自算出の注目度）: 13.501725999362757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Repairing obsolete tests in response to source code evolution is critical for test suite reliability and software quality assurance. While large language models (LLMs) have emerged as promising tools for automating many software development tasks, the effective supply of context and the orchestration of repair pipelines in this source--test co-evolution scenario remain poorly understood. Moreover, although reasoning is found helpful for LLMs on some complex coding tasks, it remains unclear which reasoning steps actually contribute to effective test repairs and how the insights learned from LLMs' behaviors benefit coding agents. In this paper, we present a systematic empirical study of test repair for source-test co-evolution empowered by LLMs, investigating the effective setups and typical LLM behaviors. To support this study, we construct a new benchmark of 500 real-world source-test co-evolution cases from commits submitted between May 2024 and April 2026 across 15 highly-starred open-source Java projects. Our experimental results reveal several key insights for effective LLM-based test repair: the complementary benefits of combining test failure symptoms, source code changes, and supportive code context, as well as the effectiveness of self-repair rounds. We further derive a common reasoning action taxonomy from LLMs' reasoning traces, which proves instrumental in guiding LLMs to repair tests more effectively while at a lower financial cost. Applying our findings to the Codex agent further improves its repair success rate on challenging cases by 66.7%.
• Abstract（参考訳）: ソースコードの進化に対応する古いテストの修復は、テストスイートの信頼性とソフトウェア品質の保証にとって重要である。 大規模言語モデル(LLM)は、多くのソフトウェア開発タスクを自動化するための有望なツールとして登場したが、このソースにおけるコンテキストの効果的な供給と、修復パイプラインのオーケストレーションは、テストの共同進化のシナリオではよく理解されていない。 さらに、いくつかの複雑なコーディングタスクにおけるLCMの推論は有用であるが、どの推論ステップが効果的なテスト修正に実際に寄与するか、LLMの振る舞いから学んだ知見がコーディングエージェントにどのような恩恵をもたらすかは、まだ不明である。 本稿では, LLMによるソース-テスト共進化に対する試験修復の系統的研究を行い, 有効セットアップと典型的なLCMの挙動について検討する。 2024年5月から2026年4月に提出された15のオープンソースJavaプロジェクトを対象としたコミットから,500件の実世界のオープンソース-テストの共進化事例のベンチマークを構築した。 実験結果から,LLMをベースとしたテスト修復を効果的に行う上で重要な知見が得られた。テスト障害症状,ソースコードの変更,サポートコードコンテキストの組み合わせによる相補的メリット,自己修復ラウンドの有効性などだ。 さらに、LLMの推論トレースから共通の推論行動分類を導出し、LLMがよりコストの低い試験をより効果的に修復する上で重要な役割を担っていることを証明した。 Codexエージェントに本研究を適用すれば,難治症例の修復成功率が66.7%向上する。

関連論文リスト

• Enhancing Large Language Models with Retrieval Augmented Generation for Software Testing and Inspection Automation [1.4490522938516996]
  大規模言語モデル(LLM)を用いた自動テストケース生成に着目する。 後者では、LLMによるソースコードの検査を可能にする。 実験結果から,RAGパイプラインによる外部コンテキストの導入は,テストケースの生成とコード検査の両方に概ね肯定的な影響を与えることが示された。
  論文  参考訳（メタデータ） (2026-04-16T17:41:49Z)
• TestDecision: Sequential Test Suite Generation via Greedy Optimization and Reinforcement Learning [17.157244731153554]
  MDPとしてテストスイートの生成を形式化し,その目的が単調な部分モジュラリティを示すことを示す。 本研究では,LSMを神経グリージーの専門家に変換するTestDecisionを提案する。 TestDecisionは既存の高度なメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-04-02T09:13:52Z)
• SWE-Tester: Training Open-Source LLMs for Issue Reproduction in Real-World Repositories [4.70019882353957]
  SWE-Testerは、問題再現テストを生成するためにオープンソースのLLMをトレーニングするための新しいパイプラインである。 まず、オープンソースのGitHubリポジトリ2.6Kから41Kインスタンスの高品質なトレーニングデータセットをキュレートします。 微調整されたモデルでは、SWT-Bench Verifiedにおける最大10%の成功率と21%の変更カバレッジの絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-01-20T08:10:56Z)
• MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
  ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。 我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。 トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
  論文  参考訳（メタデータ） (2025-10-09T17:53:58Z)
• MANTRA: Enhancing Automated Method-Level Refactoring with Contextual RAG and Multi-Agent LLM Collaboration [44.75848695076576]
  本稿では,包括的Large Language ModelsエージェントベースのフレームワークであるMANTRAを紹介する。 ManTRAは、コンテキスト対応検索強化生成、協調型マルチエージェントコラボレーション、および言語強化学習を統合している。 MANTRA はベースライン LLM モデルを大幅に上回ることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-03-18T15:16:51Z)
• Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
  本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。 この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
  論文  参考訳（メタデータ） (2025-01-28T15:41:54Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。