論文の概要: CASCADE: Detecting Inconsistencies between Code and Documentation with Automatic Test Generation
- arxiv url: http://arxiv.org/abs/2604.19400v1
- Date: Tue, 21 Apr 2026 12:26:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.762638
- Title: CASCADE: Detecting Inconsistencies between Code and Documentation with Automatic Test Generation
- Title（参考訳）: CASCADE:自動テスト生成によるコードとドキュメンテーションの不整合の検出
- Authors: Tobias Kiecker, Jan Arne Sparka, Martin Reuter, Albert Ziegler, Lars Grunske,
- Abstract要約: コードとドキュメンテーション間の一貫性を維持することは、ソフトウェア開発において不可欠だが、見落とされがちな側面である。
偽陽性の低減に重点を置いた新しい不整合検出ツールであるCASCADEを紹介する。
我々はCASCADEを、オープンソースJavaプロジェクトから引き出された71の一貫性のない、814の一貫性のあるコード文書ペアからなる新しいデータセットで評価した。
- 参考スコア（独自算出の注目度）: 0.7611870296994722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Maintaining consistency between code and documentation is a crucial yet frequently overlooked aspect of software development. Even minor mismatches can confuse API users, introduce new bugs, and increase overall maintenance effort. This creates demand for automated solutions that can assist developers in identifying code-documentation inconsistencies. However, since automatic reports still require human confirmation, false positives carry serious consequences: wasting developer time and discouraging practical adoption. We introduce CASCADE (Consistency Analysis for Source Code And Documentation through Execution), a novel tool for detecting inconsistencies with a strong emphasis on reducing false positives. CASCADE leverages Large Language Models (LLMs) to generate unit tests directly from natural-language documentation. Since these tests are derived from the documentation, any failure during execution indicates a potential mismatch between the documented and actual behavior of the code. To minimize false positives, CASCADE also generates code from the documentation to cross-check the generated tests. By design, an inconsistency is reported only when two conditions are met: the existing code fails a test, while the code generated from the documentation passes the same test. We evaluated CASCADE on a novel dataset of 71 inconsistent and 814 consistent code-documentation pairs drawn from open-source Java projects. Further, we applied CASCADE to additional Java, C#, and Rust repositories, where we uncovered 13 previously unknown inconsistencies, of which 10 have subsequently been fixed, demonstrating both CASCADE's precision and its applicability to real-world codebases.
- Abstract（参考訳）: コードとドキュメンテーション間の一貫性を維持することは、ソフトウェア開発において不可欠だが、見落とされがちな側面である。
マイナーなミスマッチでさえ、APIユーザを混乱させ、新しいバグを導入し、全体的なメンテナンス作業を増やすことができる。
これにより、開発者がコード文書の不整合を識別するのに役立つ自動化ソリューションの需要が生まれる。
しかし、自動報告は人間による確認を必要とするため、偽陽性は開発者時間を無駄にし、実践的な採用を妨げ、重大な結果をもたらす。
本稿では,CASCADE(Consistency Analysis for Source Code and Documentation through Execution)を紹介する。
CASCADEはLarge Language Models (LLM)を活用して、自然言語ドキュメントから直接ユニットテストを生成する。
これらのテストはドキュメントから派生しているため、実行中のあらゆる失敗は、ドキュメント化されたコードと実際の振る舞いの間の潜在的なミスマッチを示している。
偽陽性を最小限にするために、CASCADEは、生成されたテストのクロスチェックのためにドキュメントからコードを生成する。
既存のコードはテストに失敗し、ドキュメントから生成されたコードは同じテストに合格する。
我々はCASCADEを、オープンソースJavaプロジェクトから引き出された71の一貫性のない、814の一貫性のあるコード文書ペアからなる新しいデータセットで評価した。
さらに、CASCADEを追加のJava、C#、Rustリポジトリに適用し、これまで不明だった13の不整合を発見し、そのうち10が修正され、CASCADEの精度と実際のコードベースへの適用性の両方を実証した。
関連論文リスト
- AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Automated Test Generation from Program Documentation Encoded in Code Comments [4.696083734269232]
本稿では,コード・コンポジション・ドキュメンテーションを構築的に活用する新しいテスト生成手法を提案する。
テストケースに、ターゲットの振る舞いを適切にコンテキスト化された名前とオラクルを提供します。
論文 参考訳（メタデータ） (2025-04-29T20:23:56Z) - METAMON: Finding Inconsistencies between Program Documentation and Behavior using Metamorphic LLM Queries [10.9334354663311]
本稿では,既存の検索ベーステスト生成技術を用いて,現在のプログラム動作をテストケース形式でキャプチャするMETAMONを提案する。
MeTAMONはこのタスクでメタモルフィックテストと自己整合性によってサポートされている。
Defects4J v2.0.1の5つのオープンソースプロジェクトを使って生成された9,482対のコードドキュメンテーションとコードスニペットに対する実証的な評価は、METAMONがコードとドキュメントの不整合を精度0.72、リコール0.48で分類できることを示している。
論文 参考訳（メタデータ） (2025-02-05T00:42:50Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - Automatic Generation of Test Cases based on Bug Reports: a Feasibility
Study with Large Language Models [4.318319522015101]
既存のアプローチは、単純なテスト(例えば単体テスト)や正確な仕様を必要とするテストケースを生成する。
ほとんどのテスト手順は、テストスイートを形成するために人間が書いたテストケースに依存しています。
大規模言語モデル(LLM)を活用し,バグレポートを入力として利用することにより,この生成の実現可能性を検討する。
論文 参考訳（メタデータ） (2023-10-10T05:30:12Z) - StubCoder: Automated Generation and Repair of Stub Code for Mock Objects [13.879622616667572]
StubCoderは、テストケースの実行時の振る舞いによってガイドされるテストパススタブコードを合成する、新しい進化的アルゴリズムを実装している。
評価結果から,StubCoderはスタブコードなしで不完全なテストケースに対してスタブコードを効率的に生成し,スタブコードを壊すことなく古いテストケースを修復できることがわかった。
論文 参考訳（メタデータ） (2023-07-27T09:42:40Z) - ReCode: Robustness Evaluation of Code Generation Models [90.10436771217243]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。
ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。
ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文 参考訳（メタデータ） (2022-12-20T14:11:31Z) - Code Comment Inconsistency Detection with BERT and Longformer [9.378041196272878]
ソースコードの自然言語記述であるコメントは、ソフトウェア開発者の間で標準的なプラクティスである。
コメントに付随する修正を加えずにコードを変更すると、コメントとコードの間に矛盾が生じます。
本研究では,自然言語推論(NLI)の文脈における不整合を検出するための2つのモデルを提案する。
論文 参考訳（メタデータ） (2022-07-29T02:43:51Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳（メタデータ） (2022-07-21T10:18:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。