論文の概要: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation

• arxiv url: http://arxiv.org/abs/2505.11849v1
• Date: Sat, 17 May 2025 05:25:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.893535
• Title: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation
• Title（参考訳）: VeriReason: Reinforcement Learning with Testbench Feedback for Reasoning-Enhanced Verilog Generation
• Authors: Yiting Wang, Guoheng Sun, Wanghao Ye, Gang Qu, Ang Li,
• Abstract要約: 本稿では,教師付き微調整とガイド・リワード近似最適化(GRPO)によるRTL生成のための強化学習を統合するフレームワークであるVeriReasonを紹介する。 VerilogEvalベンチマークでは、VeriReasonは83.1%の機能的正当性を提供しており、比較可能なサイズのモデルと、GPT-4 Turboのようなはるかに大きな商用システムの両方を上回っている。 VeriReasonは、Verilog生成のための強化学習と明示的な推論機能をうまく統合する最初のシステムであり、自動RTL合成のための新しい最先端技術を確立している。
• 参考スコア（独自算出の注目度）: 9.07044866283158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automating Register Transfer Level (RTL) code generation using Large Language Models (LLMs) offers substantial promise for streamlining digital circuit design and reducing human effort. However, current LLM-based approaches face significant challenges with training data scarcity, poor specification-code alignment, lack of verification mechanisms, and balancing generalization with specialization. Inspired by DeepSeek-R1, we introduce VeriReason, a framework integrating supervised fine-tuning with Guided Reward Proximal Optimization (GRPO) reinforcement learning for RTL generation. Using curated training examples and a feedback-driven reward model, VeriReason combines testbench evaluations with structural heuristics while embedding self-checking capabilities for autonomous error correction. On the VerilogEval Benchmark, VeriReason delivers significant improvements: achieving 83.1% functional correctness on the VerilogEval Machine benchmark, substantially outperforming both comparable-sized models and much larger commercial systems like GPT-4 Turbo. Additionally, our approach demonstrates up to a 2.8X increase in first-attempt functional correctness compared to baseline methods and exhibits robust generalization to unseen designs. To our knowledge, VeriReason represents the first system to successfully integrate explicit reasoning capabilities with reinforcement learning for Verilog generation, establishing a new state-of-the-art for automated RTL synthesis. The models and datasets are available at: https://huggingface.co/collections/AI4EDA-CASE Code is Available at: https://github.com/NellyW8/VeriReason
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いたレジスタ転送レベル(RTL)コード生成の自動化は、デジタル回路設計の合理化と人的労力の削減に大きく貢献する。 しかし、現在のLLMベースのアプローチでは、トレーニングデータの不足、仕様コードアライメントの貧弱、検証機構の欠如、一般化と特殊化のバランスといった大きな課題に直面している。 DeepSeek-R1にインスパイアされたVeriReasonは、教師付き微調整とガイド・リワード近似最適化(GRPO)によるRTL生成のための強化学習を統合したフレームワークである。 キュレートされたトレーニング例とフィードバック駆動型報酬モデルを使用して、VeriReasonは、自動エラー修正のための自己チェック機能を組み込みながら、テストベンチ評価と構造的ヒューリスティックを組み合わせる。 VerilogEvalベンチマークでは、VerilogEval Machineベンチマークで83.1%の機能的正当性を達成し、比較可能なサイズのモデルと、GPT-4 Turboのようなはるかに大きな商用システムの両方を大幅に上回っている。 さらに,本手法は,ベースライン法と比較して初動関数の正しさが2.8倍に向上し,目に見えない設計への頑健な一般化を示す。 我々の知る限り、VeriReasonは、明示的な推論能力をVerilog生成のための強化学習とうまく統合し、自動RTL合成のための新しい最先端技術を確立した最初のシステムである。 モデルとデータセットは以下の通りである。 https://huggingface.co/collections/AI4EDA-CASE Code is available at: https://github.com/NellyW8/VeriReason

関連論文リスト

• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• VerIF: Verification Engineering for Reinforcement Learning in Instruction Following [55.60192044049083]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル(LLM)の強化の鍵となる技術となっている。 ルールベースのコード検証とLLMベースの大規模な推論モデルによる検証を組み合わせた検証手法であるVerIFを提案する。 我々はVerIFを用いたRLトレーニングを2つのモデルに適用し、いくつかの代表的な命令追従ベンチマークで大幅に改善した。
  論文  参考訳（メタデータ） (2025-06-11T17:10:36Z)
• KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:17Z)
• Insights from Verification: Training a Verilog Generation LLM with Reinforcement Learning with Testbench Feedback [36.69082579950107]
  大規模言語モデル(LLM)は、自然言語記述からVerilog生成において強力な性能を示している。 本稿では,テストベンチからの検証洞察をVerilog 生成 LLM のトレーニングに統合する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-22T11:38:14Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。