論文の概要: Retrofitting Code Using LLMs to Support Exceptional Behavior
- arxiv url: http://arxiv.org/abs/2609.10397v1
- Date: Wed, 09 Sep 2026 16:18:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.108325
- Title: Retrofitting Code Using LLMs to Support Exceptional Behavior
- Title（参考訳）: 例外的振舞いを支援するLLMを用いたコード再適合
- Abstract要約: 例外関連コード(ERC)により、開発者は期待するプログラム動作から逸脱する例外状態を検出し、処理することができる。
既存のコードを(ERCなしで)与えられたコードと例外行動テスト(EBT)に適合させる新しいタスクを提案する。
我々は,この課題に対処する大規模言語モデル(LLM)を支援するために,文脈工学を行う例外コーダ(EXCODER)を設計,実装する。
- 参考スコア（独自算出の注目度）: 30.279252915845642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exception Related Code (ERC), which includes throw statements, conditions (if statements) that guard those throw statements, and try/catch blocks, is an essential component of software systems, allowing developers to detect and handle exceptional states that deviate from the expected program behavior. However, manually writing ERC across large codebases is tedious. We propose a novel task: retrofitting existing code with ERC. Namely, given code (without ERC) and Exceptional Behavior Tests (EBTs) (e.g., check if method throws InvalidArgumentException if null is given as the value to the argument) we aim to automatically generate missing ERC, such that the given tests pass. We design and implement Exception Coder (EXCODER) that performs context engineering to help Large Language Models (LLMs) tackle this task. EXCODER integrates static and dynamic program analysis with LLMs by providing the extracted contextual information to the LLMs. To evaluate EXCODER, we build a benchmark constructed from GitHub Java repositories, where we systematically remove ERC in 304 methods from 75 projects. Our results demonstrate that EXCODER provides an effective, though imperfect, solution to this problem in automated code generation, offering developers the first way to implement ERC following test-driven development. When combined with Qwen 2.5 Coder 32b, EXCODER achieves pass@1, 5, and 10 rates of 85.92% (12.56 percentage points over baseline), 86.18% (12.82 p.p. over baseline), and 86.51% (13.15 p.p. over baseline), respectively, on developer-written test suites. Our manual inspection of the generated code further reveals limitations of EXCODER, pointing to directions for future work.
- Abstract（参考訳）: 例外関連コード(ERC)は、スローステートメント、それらのスローステートメントを保護する条件(ifステートメント)、および試行/キャッチブロックを含む、開発者が期待するプログラム動作から逸脱する例外状態を検出し、処理できるようにするソフトウェアシステムの不可欠なコンポーネントである。
しかし、手動で大規模なコードベースにERCを書くのは面倒だ。
既存のコードをERCで再適合させるという新しい課題を提案する。
すなわち、与えられたコード(ERCなしで)と例外振る舞いテスト(EBT)(例えば、メソッドが引数の値としてnullが与えられている場合、InvalidArgumentExceptionをスローするかどうかをチェックする)は、与えられたテストがパスするように、行方不明のERCを自動的に生成することを目指している。
我々は,この課題に対処する大規模言語モデル(LLM)を支援するために,文脈工学を行う例外コーダ(EXCODER)を設計,実装する。
EXCODERは、抽出した文脈情報をLLMに提供することで、静的および動的プログラム解析をLLMと統合する。
EXCODERを評価するために、GitHub Javaリポジトリから構築されたベンチマークを構築し、75のプロジェクトから304のメソッドでERCを体系的に削除しました。
我々の結果は、EXCODERが自動コード生成におけるこの問題に対する効果的な解決策を提供することを示した。
Qwen 2.5 Coder 32bと組み合わせると、EXCODERは85.92%(ベースラインで12.56ポイント)、86.18%(ベースラインで12.82 p.p.)、86.51%(ベースラインで13.15 p.p.)となる。
生成したコードの手動検査により、将来の作業の方向性を示すEXCODERの制限が明らかになる。
関連論文リスト
- ExeCRE: Execution-Consistency Guided Reliability Estimation for Self-Correcting Code Generation [28.515743392951194]
ExeCRE(Execution-Consistency Guided code Reliability Estimation framework)を提案する。
多数のランダムに生成された入力に対して、実行出力の一貫性パターンを統計的に解析することにより、コードの信頼性を推定する。
実験により、ExeCREは効率と安定性の両方を一貫して改善し、ミスリード補正信号を著しく低減することが示された。
論文 参考訳（メタデータ） (2026-08-05T04:29:30Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - SPARC: Scenario Planning and Reasoning for Automated C Unit Test Generation [1.0010193170880752]
本稿では,高レベルのプログラム意図とポインタ演算と手動メモリ管理の厳密な構文制約とのギャップを埋める,ニューロシンボリックなシナリオベースのフレームワークを提案する。
我々は、59の現実世界およびアルゴリズムの被験者で評価し、バニラプロンプト生成ベースラインを31.36%、分岐カバレッジ26.01%、突然変異スコア20.78%で上回り、シンボリック実行ツールKLEEに適合または超えている。
論文 参考訳（メタデータ） (2026-02-18T18:09:03Z) - CatchAll: Repository-Aware Exception Handling with Knowledge-Guided LLMs [11.461605017230424]
例外処理は、多くのプログラミング言語において重要なエラー回復メカニズムである。
我々はリポジトリ対応例外処理の新しいアプローチであるCatchAllを提案する。
CatchAllを評価するために、リポジトリ対応例外処理のための2つの新しいベンチマークを構築した。
論文 参考訳（メタデータ） (2026-01-03T20:03:03Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Turning the Tide: Repository-based Code Reflection [52.13709676656648]
マルチファイルリポジトリコンテキストにおけるコード理解と生成を評価するベンチマークであるLiveRepoReflectionを紹介する。
多様性、正確性、難易度を確保するため、6ドル(約6,800円)のプログラミング言語で厳格にテストケースをフィルタリングしました。
RepoReflection-Instructは、さまざまなソースから派生した大規模で品質の高い命令チューニングデータセットである。
論文 参考訳（メタデータ） (2025-07-14T02:36:27Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - Towards Exception Safety Code Generation with Intermediate Representation Agents Framework [54.03528377384397]
大規模言語モデル(LLM)は、しばしば生成されたコードの堅牢な例外処理に苦しむ。
中間表現(IR)アプローチにより,LLM生成コードの例外安全性を実現する新しいマルチエージェントフレームワークであるSeekerを提案する。
Seekerは例外処理をScanner, Detector, Predator, Ranker, Handlerの5つの特殊エージェントに分解する。
論文 参考訳（メタデータ） (2024-10-09T14:45:45Z) - CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳（メタデータ） (2024-06-20T16:59:52Z) - exLong: Generating Exceptional Behavior Tests with Large Language Models [41.145231237535356]
ExLongは、例外的な振る舞いテストを自動的に生成するフレームワークである。
これは、スローステートメントにつながるトレース、スローステートメントを保護する条件式、例外的でない振る舞いテストに関する推論を埋め込んでいる。
我々はexLongをテスト生成のための最先端モデル(CAT-LM)と最強基礎モデル(GPT-4o)の1つと比較する。
論文 参考訳（メタデータ） (2024-05-23T14:28:41Z) - From Misuse to Mastery: Enhancing Code Generation with Knowledge-Driven
AI Chaining [16.749379740049925]
大きな言語モデル(LLM)は、コーディング効率をある程度改善することで、自動コード生成の有望な結果を示している。
しかし、LLMが優れたプログラミングプラクティスを欠いているため、高品質で信頼性の高いコードを生成することは、依然として恐ろしい作業である。
我々は、コード生成を反復的なチェック-リライトステップでAIチェーンに分解する、知識駆動型Prompt Chainingベースのコード生成手法を提案する。
論文 参考訳（メタデータ） (2023-09-27T12:09:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。