論文の概要: BOSQTGEN: Breaking the Sound Barrier in Test Generation

• arxiv url: http://arxiv.org/abs/2510.19777v1
• Date: Wed, 22 Oct 2025 17:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.218924
• Title: BOSQTGEN: Breaking the Sound Barrier in Test Generation
• Title（参考訳）: BOSQTGEN:テスト生成時の遮音壁を壊す
• Authors: S M Sadrul Islam Asif, James Chen, Earl T. Barr, Mark Marron,
• Abstract要約: 本稿では,新しいブラックボックスとAPIテスト生成ツールであるBOSQTGENを紹介する。 BOSQTGENは、API仕様をプリミティブに分解するための新しいアプローチ、LLMを使用してコヒーレントなインタラクションを提案し、これらの値を効率的にサンプリングするためにテストを採用する。 結果として得られたBOSQTGENシステムは、ベンチマークで平均82%のコードカバレッジを達成するが、しばしば以前の最先端システムよりも20%以上増加する。
• 参考スコア（独自算出の注目度）: 3.052470294814771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern software is increasingly built by composing APIs, elevating the API contract to a critical role. Inadequate contracts, however, lead to mismatched expectations and failures, creating a pressing need for robust conformance testing. Current test generation techniques are hindered by key challenges: polyglot systems, source code inaccessibility, a cost-reliability trade-off, and, most critically, the difficulty of generating structured inputs. We introduce BOSQTGEN, a novel black-box methodology and tool for API test generation. BOSQTGEN utilizes a novel approach for decomposing API specifications into primitives, using LLMs to suggest coherent strata for them, and employing combinatorial testing to efficiently sample over these values. This approach ensures coverage of critical interactions while avoiding the redundancy of random sampling. The resulting BOSQTGEN system achieves an average of 82% code coverage on RESTful benchmarks, often a 20% or more increase over prior state-of-the-art systems and nearing parity with hand-written test suites. Providing a fully API-driven approach to test generation, enables developers to automatically create high-quality test cases for validation or test-driven development.
• Abstract（参考訳）: 現代的なソフトウェアはAPIの構築によって構築され、API契約を重要な役割へと高めている。 しかし、不適切な契約は、不一致の期待と失敗を招き、堅牢な適合性テストの必要性が高まっます。 現在のテスト生成技術は、多言語システム、ソースコードのアクセシビリティ、コスト-信頼性のトレードオフ、そして最も重要なのは、構造化された入力を生成するのが困難である。 本稿では,新しいブラックボックス手法とAPIテスト生成ツールであるBOSQTGENを紹介する。 BOSQTGENは、API仕様をプリミティブに分解し、LLMを使ってコヒーレントな層を提案し、組み合わせテストを使用してこれらの値を効率的にサンプリングする新しいアプローチを採用している。 このアプローチは、ランダムサンプリングの冗長性を避けながら、臨界相互作用のカバレッジを保証する。 結果として得られたBOSQTGENシステムは、RESTfulベンチマーク上で平均82%のコードカバレッジを達成する。 完全なAPI駆動によるテスト生成のアプローチを提供することで、開発者はバリデーションやテスト駆動開発のための高品質なテストケースを自動生成できる。

関連論文リスト

• Combining TSL and LLM to Automate REST API Testing: A Comparative Study [3.8615905456206256]
  RestTSLLMは、テスト仕様言語(TSL)とLarge Language Models(LLM)を併用して、REST APIのテストケースの自動生成を行うアプローチである。 提案したソリューションは,プロンプトエンジニアリング技術と自動パイプラインを統合して,OpenAPI仕様からテストを生成する能力に基づいて,さまざまなLSMを評価する。 その結果、最高のパフォーマンスのLSMは、一貫して堅牢でコンテキスト的に一貫性のあるREST APIテストを生成しました。
  論文  参考訳（メタデータ） (2025-09-05T23:32:35Z)
• Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
  コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。 提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
  論文  参考訳（メタデータ） (2025-08-27T03:15:53Z)
• PALM: Synergizing Program Analysis and LLMs to Enhance Rust Unit Test Coverage [14.702182387149547]
  本稿では,大規模言語モデル(LLM)を活用して高カバレッジ単体テストを生成する手法であるPALMを提案する。 PALMはプログラム解析を行い、関数内の分岐条件を特定し、それを経路制約に結合する。 このアプローチを実装し、それを15のオープンソースのRustクラッドで評価します。
  論文  参考訳（メタデータ） (2025-06-10T17:21:21Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• Code-Aware Prompting: A study of Coverage Guided Test Generation in Regression Setting using LLM [32.44432906540792]
  テスト生成における大規模言語モデルのコード認識促進戦略であるSymPromptを提案する。 SymPromptは、正しいテスト世代を5倍に増やし、CodeGen2の相対カバレッジを26%向上させる。 特に、GPT-4に適用すると、SymPromptはベースラインのプロンプト戦略に比べて2倍以上のカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-01-31T18:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。