論文の概要: Executable but Unfaithful: Mock Object, Stub, and Assertion Generation by LLMs and Coding Agents

• arxiv url: http://arxiv.org/abs/2610.14629v1
• Date: Sat, 10 Oct 2026 06:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:35:12.953831
• Title: Executable but Unfaithful: Mock Object, Stub, and Assertion Generation by LLMs and Coding Agents
• Title（参考訳）: 実行可能ではあるが不信感:LLMとコードエージェントによるモックオブジェクト, タブ, アクセレーション生成
• Abstract要約: 大規模言語モデル(LLM)とコーディングエージェントは、依存関係の実行の記録や固定シンボルプールを必要とせずに、ソースコードから成果物をモックすることで代替手段を提供する。 3つのアーティファクトタイプにまたがってその能力を評価する体系的な研究は行われていない。 本研究は,モックアーティファクト生成の課題を強調し,開発者と研究者双方に実践的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 12.278181202490705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mocking is a foundational practice in unit testing, enabling developers to isolate the code under test by replacing real dependencies with simulated alternatives. Automating the generation of mock objects, stubs, and mock assertions has been a long-standing research goal. However, capture-and-replay approaches rely on recording the runtime behavior of actual dependencies. Evolutionary approaches such as StubCoder overcome this requirement but constrain generation to predefined symbol pools. Large language models (LLMs) and coding agents offer an alternative by generating mocking artifacts from source code without requiring recorded dependency executions or fixed symbol pools. Yet, no systematic study has evaluated their capabilities across all three artifact types. To address this gap, we construct MockBench, a benchmark comprising 165 mock artifact generation tasks from real-world Java and Python projects, with validated reference mock objects, stubs, and mock assertions. We evaluate six LLMs and three coding agents in terms of executability, behavior fidelity, and interaction-fault detection capability, complemented by comparisons with existing tools and sensitivity analysis. Experimental results show that LLMs and coding agents indeed have been the state-of-the-art techniques in mock-based testing. More specifically, compared with LLMs, coding agents substantially improve executability, while these gains do not consistently translate into higher behavior fidelity or better interaction-fault detection. Furthermore, we analyze 660 failures from LLMs and coding agents, and identify ten error types across the three artifact categories, revealing behavioral deviations that passing tests can conceal. Our findings highlight the challenges of mock artifact generation and provide practical guidance for both developers and researchers.
• Abstract（参考訳）: モッキングは単体テストの基本的なプラクティスであり、開発者は実際の依存関係をシミュレートされた代替品に置き換えることで、テスト中のコードを分離することができる。 モックオブジェクト、スタブ、モックアサーションの生成を自動化することは長年の研究目標である。 しかし、キャプチャ・アンド・リプレイのアプローチは、実際の依存関係の実行時の振る舞いを記録することに依存している。 StubCoderのような進化的アプローチはこの要件を克服するが、事前に定義されたシンボルプールに制約を生成する。 大規模言語モデル(LLM)とコーディングエージェントは、依存関係の実行の記録や固定シンボルプールを必要とせずに、ソースコードから成果物をモックすることで代替手段を提供する。 しかし、3つのアーティファクトタイプにまたがってその能力を評価する体系的な研究は行われていない。 このギャップに対処するため、実世界のJavaおよびPythonプロジェクトから165のモックアーティファクト生成タスクからなるベンチマークであるMockBenchを構築し、検証された参照モックオブジェクト、スタブ、モックアサーションを使用する。 我々は,既存のツールとの比較と感度分析により,実行可能性,行動忠実度,インタラクション・フォールト検出能力の観点から6つのLCMと3つの符号化エージェントを評価した。 実験結果から,LLMとコーディングエージェントがモックベーステストの最先端技術であることが明らかとなった。 より具体的には、LSMと比較すると、符号化エージェントは実行可能性を大幅に改善するが、これらの利得は、より高振舞いの忠実度や、より優れた相互作用-デフォルト検出に一貫して変換されない。 さらに、LSMとコーディングエージェントの660の障害を分析し、これら3つのアーティファクトカテゴリにまたがる10のエラータイプを特定し、パステストが隠蔽できる行動偏差を明らかにした。 本研究は,モックアーティファクト生成の課題を強調し,開発者と研究者双方に実践的なガイダンスを提供する。

関連論文リスト

• Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
  大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。 マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。 TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
  論文  参考訳（メタデータ） (2026-07-10T05:16:54Z)
• Code-A1: Adversarial Evolving of Code LLM and Test LLM via Reinforcement Learning [54.95476453942411]
  コード生成のための強化学習は、単体テストのパスレートから検証可能な報酬に依存する。 最近のセルフプレイ手法は、1つのモデルでコードとテスト生成を統合する。 Code-A1は、人間のアノテーションによるテストでトレーニングされたコード生成のパフォーマンスマッチングまたはモデルを超えることを実現する。
  論文  参考訳（メタデータ） (2026-03-16T17:58:13Z)
• ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
  タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。 我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。 実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
  論文  参考訳（メタデータ） (2025-10-23T06:58:32Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
  ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。 我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。 コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
  論文  参考訳（メタデータ） (2024-06-18T14:54:37Z)
• Mimicking Production Behavior with Generated Mocks [11.367562045401554]
  実運用環境でのアプリケーションを監視して,モックによる現実的な実行シナリオを模倣するテストを生成することを提案する。 このアプローチは自動化され、RICKと呼ばれるオープンソースのツールで実装されている。 生成されたテストケースはすべて実行可能であり、52.4%は本番環境で観測されたターゲットメソッドの完全な実行コンテキストをうまく模倣している。
  論文  参考訳（メタデータ） (2022-08-02T09:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。