論文の概要: VeriBugBench: An Empirically Grounded Framework for Constructing Verilog RTL Debugging Benchmarks
- arxiv url: http://arxiv.org/abs/2609.18022v2
- Date: Fri, 18 Sep 2026 04:57:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.696889
- Title: VeriBugBench: An Empirically Grounded Framework for Constructing Verilog RTL Debugging Benchmarks
- Title（参考訳）: VeriBugBench: Verilog RTLデバッグベンチマークを構築するための実証的な基盤フレームワーク
- Abstract要約: 本稿では,フォールトコンストラクション,テストベンチ拡張,実行ベース保持を通じて,Verilog RTLベンチマークを構築するためのフレームワークを提案する。
このフレームワークを45のオープンソースプロジェクトに適用すると、VeriBugBench-v1.0となり、2,608インスタンスが実行可能である。
45のプロジェクト全体で、統合されたテストベンチは、プロジェクトレベルのフォールトオブザーバビリティを36.01%から39.54%に引き上げ、ラインカバレッジと実行トレースの多様性を改善した。
- 参考スコア（独自算出の注目度）: 12.802055571026314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: RTL source-level debugging research requires benchmark artifacts that provide faulty designs together with precise change locations, executable test stimuli, and reproducible configurations. Available Verilog resources usually provide only a subset of these elements. We present VeriBugBench, a framework for constructing Verilog RTL debugging benchmarks through empirically grounded fault construction, LLM-based testbench enhancement, and execution-based retention. The mutation library maps recurring, multi-granularity repair patterns observed in RTL bug-fix histories to 19 executable inverse operators. For each project, an LLM generates a design-specific stimulus phase from the clean DUT and original testbench; the phase is composed with the original testbench for candidate execution. Applying the framework to 45 open-source projects yields VeriBugBench-v1.0, with 2,608 executable single-fault instances whose effects are observable at design outputs. Across the 45 projects, the assembled testbenches increase mean project-level fault observability from 36.01% to 39.54% and improve line coverage and execution-trace diversity on average. VeriBugBench provides versioned RTL variants, source-level ground truth, testbenches, and execution artifacts for evaluating RTL debugging methods.
- Abstract（参考訳）: RTLソースレベルのデバッグ研究は、正確な変更位置、実行可能なテスト刺激、再現可能な構成とともに、欠陥のある設計を提供するベンチマークアーティファクトを必要とする。
利用可能なVerilogリソースは通常、これらの要素のサブセットのみを提供する。
We present VeriBugBench, a framework for constructing Verilog RTL debugging benchmarks through empirically grounded fault construction, LLM-based testbench enhancement, and execution-based retention。
変異ライブラリーは、RTLバグフィックス履歴で観察された再発する多粒性修復パターンを19個の逆演算子にマッピングする。
各プロジェクトに対して、LCMは、クリーンDUTおよび元のテストベンチから設計固有の刺激フェーズを生成し、そのフェーズは、候補実行のための元のテストベンチで構成される。
このフレームワークを45のオープンソースプロジェクトに適用すると、VeriBugBench-v1.0となり、2,608の実行可能なシングルフォールトインスタンスが設計出力で観測できる。
45のプロジェクト全体で、統合されたテストベンチは、プロジェクトレベルのフォールトオブザーバビリティを36.01%から39.54%に引き上げ、平均してラインカバレッジと実行トレースの多様性を改善した。
VeriBugBenchは、バージョン管理されたRTL変種、ソースレベル基底真理、テストベンチ、RTLデバッグメソッドを評価するための実行アーティファクトを提供する。
関連論文リスト
- TRAJDEBUG: Tracing Error Lifecycle to Identify Critical Failures in Long-Horizon Agent Trajectories [48.638067300108276]
臨界エラー検出は、最終失敗の原因となる軌道上の最初期のエラーステップを見つけることを目的としている。
長い軌道は、ステップを判断する証拠は遠方の指示、観察、事前の文脈に散らばっているため、個々のエラーを特定するのを困難にしている。
長距離エラー検出に対処するエラーライフサイクルトレースフレームワークであるTraj Debugを提案する。
論文 参考訳（メタデータ） (2026-08-06T17:51:20Z) - Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。
バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。
本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
論文 参考訳（メタデータ） (2026-07-22T07:30:07Z) - VeriPilot: An LLM-Powered Verilog Debugging Framework [28.151772567640354]
We propose VeriPilot, a framework to enable fine-fine bug localization and repair in Verilog design。
VeriPilotは、Verilog設計とそれに対応する黄金モデルの間に内部変数のセマンティクスを整合させることで、出力レベルの比較を越えている。
その後、静的解析から派生した制御データフローグラフ(CDFG)を用いてステップバイステップの信号追跡を行う。
論文 参考訳（メタデータ） (2026-06-22T09:15:40Z) - HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks [3.958773019872771]
既存のベンチマークは主に、孤立したコンポーネントレベルのタスクでLarge Language Models (LLM)を評価する。
HWE-Benchは,LLMエージェントを現実のハードウェアバグ修正タスクで評価するための,最初の大規模リポジトリレベルのベンチマークである。
論文 参考訳（メタデータ） (2026-04-16T07:19:34Z) - Logging Like Humans for LLMs: Rethinking Logging via Execution and Runtime Feedback [17.85879405133239]
ランタイムフィードバックによってガイドされる反復ロギング生成フレームワークであるReLogを紹介します。
欠陥のローカライゼーションや修復など,下流デバッグタスクを通じてReLogを評価する。
結果は、ReLogがすべてのベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-03-31T01:18:49Z) - InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。
対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
論文 参考訳（メタデータ） (2025-10-21T06:26:29Z) - VeriDebug: A Unified LLM for Verilog Debugging via Contrastive Embedding and Guided Correction [36.69082579950107]
コントラスト表現とガイド付き修正機能を統合するアプローチであるVeri Debugを提案する。
我々のモデルは、既存のオープンソースSOTA 11.3から大幅に改善されたバグ修正(Acc1)において64.7の精度を実現している。
この性能はオープンソースの代替品より優れているだけでなく、GPT-3.5-turbo (36.6)のような大型のクローズドソースモデルよりも優れている。
論文 参考訳（メタデータ） (2025-04-27T04:09:48Z) - ProjectTest: A Project-level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms [48.43237545197775]
単体テスト生成はLLMの有望かつ重要なユースケースとなっている。
ProjectTestは、Python、Java、JavaScriptをカバーするユニットテスト生成のためのプロジェクトレベルのベンチマークである。
論文 参考訳（メタデータ） (2025-02-10T15:24:30Z) - DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
DebugBench - LLM(Large Language Models)のベンチマーク。
C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。
ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
論文 参考訳（メタデータ） (2024-01-09T15:46:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。