論文の概要: Agent-Based Test Assertion Generation via Diverse Perspective Aggregation
- arxiv url: http://arxiv.org/abs/2608.05822v1
- Date: Thu, 06 Aug 2026 09:51:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.872091
- Title: Agent-Based Test Assertion Generation via Diverse Perspective Aggregation
- Title（参考訳）: 横方向アグリゲーションによるエージェントベーステストアサーション生成
- Abstract要約: AssertMateはエージェントベースのアサーション生成フレームワークである。
これにより、大きな言語モデル(LLM)の生成したアサーションの品質と信頼性が向上する。
コンピレーションの成功とパスレートにおいて、最先端の技術よりも大幅に優れています。
- 参考スコア（独自算出の注目度）: 13.443058740546164
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Test assertions are critical elements of unit tests, serving as checkpoints to validate expected behavior and ensure software correctness. Numerous techniques have been proposed to automate assertion generation, with recent progress notably driven by large language models (LLMs). Despite the promise, existing approaches such as ChatAssert suffer from modest accuracy, heavy reliance on oversampling, and vulnerability to model randomness due to one-shot prompting. To address these limitations, we propose AssertMate, a novel agent-based assertion generation framework that enhances the quality and reliability of LLM-generated assertions through three key components: (1) actual value construction that identifies assertion targets via static analysis and type-aware heuristics; (2) multi-perspective expected value prediction using code generation, retrieval-augmented generation (RAG), and chain-of-thought (CoT) reasoning agents; and (3) an LLM-as-a-Judge collaboration mechanism to select the most appropriate assertion. Evaluation on the Defects4J benchmark demonstrates that AssertMate significantly outperforms state-of-the-art techniques in compilation success and pass rates, along with substantially higher bug detection capabilities. Integration with EvoSuite further validates AssertMate's practicality, yielding superior mutation coverage and kill counts. Ablation studies reveal that each of the three components makes a significant and complementary contribution to the overall performance. This work affirms the great potential of aggregating diverse perspectives to enhance the effectiveness of LLM-based assertion generation.
- Abstract（参考訳）: テストアサーションは単体テストの重要な要素であり、期待される振る舞いを検証し、ソフトウェアの正確性を保証するためのチェックポイントとして役立ちます。
多くの技術がアサーション生成を自動化するために提案されており、最近の進歩は大規模言語モデル(LLM)によって顕著に推進されている。
約束にもかかわらず、ChatAssertのような既存のアプローチは、控えめな精度、オーバーサンプリングへの依存度、ワンショットプロンプトによるランダム性をモデル化する脆弱性に悩まされている。
これらの制約に対処するために,(1)静的解析と型認識ヒューリスティックスによるアサーションターゲットを識別する実際の値構築,(2)コード生成,検索拡張生成(RAG)およびチェーン・オブ・シークレット(CoT)推論エージェントを用いたマルチパースペクティブな期待値予測,(3)最も適切なアサーションを選択するためのLCM-as-a-Judge協調機構,という3つの主要なコンポーネントを通じて,LCM生成アサーションの品質と信頼性を高める新しいエージェントベースのアサーション生成フレームワークであるAssertMateを提案する。
Defects4Jベンチマークの評価では、AssertMateはコンパイル成功とパスレートの最先端技術と、バグ検出能力が大幅に向上していることが示されている。
EvoSuiteとの統合により、AssertMateの実用性がさらに検証され、より優れた突然変異カバレッジと致死数が得られる。
アブレーション研究により、3つのコンポーネントのそれぞれが、全体的なパフォーマンスに重要な補完的な貢献をすることが明らかとなった。
本研究は, LLMに基づくアサーション生成の有効性を高めるために, 多様な視点を集約する大きな可能性を裏付けるものである。
関連論文リスト
- Coverage-Driven RTL Assertion Generation with Formal Exploration and Neuro-Symbolic Refinement [3.5085139194562456]
NeuroAssertionはカバレッジ駆動アサーション生成フレームワークである。
形式的トレース生成、構文誘導合成、エージェントインスパイアされた洗練を組み合わせている。
従来のアサーションマイニング法よりも約2倍のアサーションと約2倍の突然変異カバレッジを提供する。
論文 参考訳（メタデータ） (2026-08-19T03:14:14Z) - Reasoning-Aware AIGC Detection via Alignment and Reinforcement [55.09684020007737]
REVEALは、分類の前に解釈可能な推論チェーンを生成するフレームワークである。
複数のベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-04-21T07:29:55Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳（メタデータ） (2025-08-05T17:55:24Z) - AssertCoder: LLM-Based Assertion Generation via Multimodal Specification Extraction [32.14733357890831]
本稿では,高品質なSVAを自動的に生成する新しい統合フレームワークAssertCoderを提案する。
AssertCoderは、不均一な仕様フォーマットを解析するために、モダリティに敏感な事前処理を使用する。
このフレームワークは、アサーションの品質を評価するために、突然変異に基づく評価アプローチを取り入れている。
論文 参考訳（メタデータ） (2025-07-14T14:43:14Z) - Are LLMs Ready for Practical Adoption for Assertion Generation? [6.3585378855805725]
ハードウェア検証の品質、すなわちコーナーケース設計バグの検出と診断は、アサーションの品質に大きく依存する。
TransformersやLarge-Language Models (LLMs)のような生成AIが登場したことで、関数型およびセキュリティアサーションを生成する新しい、効果的でスケーラブルな技術の開発への関心が高まっている。
論文 参考訳（メタデータ） (2025-02-28T01:34:45Z) - Improving Deep Assertion Generation via Fine-Tuning Retrieval-Augmented Pre-trained Language Models [20.71745514142851]
RetriGenは検索強化されたディープアサーション生成アプローチである。
我々はRetriGenを6つの最先端アプローチに対して評価する実験を行っている。
論文 参考訳（メタデータ） (2025-02-22T04:17:04Z) - Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳（メタデータ） (2025-02-20T18:32:19Z) - Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。
QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
論文 参考訳（メタデータ） (2024-10-09T22:53:48Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - AssertionBench: A Benchmark to Evaluate Large-Language Models for Assertion Generation [6.3585378855805725]
本稿では,アサーション生成におけるLarge-Language Modelsの有効性を評価するための新しいベンチマークを提案する。
AssertioBenchにはOpenCoresから100のキュレートされたVerilogハードウェア設計が含まれており、GoldMineとHARMから生成された各設計について正式に承認されている。
論文 参考訳（メタデータ） (2024-06-26T14:47:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。