論文の概要: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation

• arxiv url: http://arxiv.org/abs/2505.11849v1
• Date: Sat, 17 May 2025 05:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.893535
• Title: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation
• Title（参考訳）: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation
• Authors: Yiting Wang, Guoheng Sun, Wanghao Ye, Gang Qu, Ang Li,
• Abstract要約: 本稿では,教師付き微調整とガイド・リワード近似最適化(GRPO)によるRTL生成のための強化学習を統合するフレームワークであるVeriReasonを紹介する。 VerilogEvalベンチマークでは、VeriReasonは83.1%の機能的正当性を提供しており、比較可能なサイズのモデルと、GPT-4 Turboのようなはるかに大きな商用システムの両方を上回っている。 VeriReasonは、Verilog生成のための強化学習と明示的な推論機能をうまく統合する最初のシステムであり、自動RTL合成のための新しい最先端技術を確立している。
• 参考スコア（独自算出の注目度）: 9.07044866283158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating Register Transfer Level (RTL) code generation using Large Language Models (LLMs) offers substantial promise for streamlining digital circuit design and reducing human effort. However, current LLM-based approaches face significant challenges with training data scarcity, poor specification-code alignment, lack of verification mechanisms, and balancing generalization with specialization. Inspired by DeepSeek-R1, we introduce VeriReason, a framework integrating supervised fine-tuning with Guided Reward Proximal Optimization (GRPO) reinforcement learning for RTL generation. Using curated training examples and a feedback-driven reward model, VeriReason combines testbench evaluations with structural heuristics while embedding self-checking capabilities for autonomous error correction. On the VerilogEval Benchmark, VeriReason delivers significant improvements: achieving 83.1% functional correctness on the VerilogEval Machine benchmark, substantially outperforming both comparable-sized models and much larger commercial systems like GPT-4 Turbo. Additionally, our approach demonstrates up to a 2.8X increase in first-attempt functional correctness compared to baseline methods and exhibits robust generalization to unseen designs. To our knowledge, VeriReason represents the first system to successfully integrate explicit reasoning capabilities with reinforcement learning for Verilog generation, establishing a new state-of-the-art for automated RTL synthesis. The models and datasets are available at: https://huggingface.co/collections/AI4EDA-CASE Code is Available at: https://github.com/NellyW8/VeriReason
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いたレジスタ転送レベル(RTL)コード生成の自動化は、デジタル回路設計の合理化と人的労力の削減に大きく貢献する。 しかし、現在のLLMベースのアプローチでは、トレーニングデータの不足、仕様コードアライメントの貧弱、検証機構の欠如、一般化と特殊化のバランスといった大きな課題に直面している。 DeepSeek-R1にインスパイアされたVeriReasonは、教師付き微調整とガイド・リワード近似最適化(GRPO)によるRTL生成のための強化学習を統合したフレームワークである。 キュレートされたトレーニング例とフィードバック駆動型報酬モデルを使用して、VeriReasonは、自動エラー修正のための自己チェック機能を組み込みながら、テストベンチ評価と構造的ヒューリスティックを組み合わせる。 VerilogEvalベンチマークでは、VerilogEval Machineベンチマークで83.1%の機能的正当性を達成し、比較可能なサイズのモデルと、GPT-4 Turboのようなはるかに大きな商用システムの両方を大幅に上回っている。 さらに,本手法は,ベースライン法と比較して初動関数の正しさが2.8倍に向上し,目に見えない設計への頑健な一般化を示す。 我々の知る限り、VeriReasonは、明示的な推論能力をVerilog生成のための強化学習とうまく統合し、自動RTL合成のための新しい最先端技術を確立した最初のシステムである。 モデルとデータセットは以下の通りである。 https://huggingface.co/collections/AI4EDA-CASE Code is available at: https://github.com/NellyW8/VeriReason

関連論文リスト

• Insights from Verification: Training a Verilog Generation LLM with Reinforcement Learning with Testbench Feedback [36.69082579950107]
  大規模言語モデル(LLM)は、自然言語記述からVerilog生成において強力な性能を示している。 本稿では,テストベンチからの検証洞察をVerilog 生成 LLM のトレーニングに統合する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-22T11:38:14Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。