Fugu-MT 論文翻訳(概要): EARL: Entropy-Aware RL Alignment of LLMs for Reliable RTL Code Generation

論文の概要: EARL: Entropy-Aware RL Alignment of LLMs for Reliable RTL Code Generation

arxiv url: http://arxiv.org/abs/2511.12033v1
Date: Sat, 15 Nov 2025 05:00:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-18 14:36:23.51935
Title: EARL: Entropy-Aware RL Alignment of LLMs for Reliable RTL Code Generation
Title（参考訳）: EARL: 信頼性RTLコード生成のためのLLMのエントロピー対応RLアライメント
Authors: Jiahe Shi, Zhengqi Gao, Ching-Yun Ko, Duane Boning,
Abstract要約: Reinforcement Learning with Verifiable Rewards (RLVR)は、モデル能力と実世界のRTL設計のギャップを埋める、有望なアプローチを提供する。 We present EARL, a Entropy-Aware Reinforcement Learning framework for Verilog generation。
参考スコア（独自算出の注目度）: 7.512194032034432
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in large language models (LLMs) have demonstrated significant potential in hardware design automation, particularly in using natural language to synthesize Register-Transfer Level (RTL) code. Despite this progress, a gap remains between model capability and the demands of real-world RTL design, including syntax errors, functional hallucinations, and weak alignment to designer intent. Reinforcement Learning with Verifiable Rewards (RLVR) offers a promising approach to bridge this gap, as hardware provides executable and formally checkable signals that can be used to further align model outputs with design intent. However, in long, structured RTL code sequences, not all tokens contribute equally to functional correctness, and naïvely spreading gradients across all tokens dilutes learning signals. A key insight from our entropy analysis in RTL generation is that only a small fraction of tokens (e.g., always, if, assign, posedge) exhibit high uncertainty and largely influence control flow and module structure. To address these challenges, we present EARL, an Entropy-Aware Reinforcement Learning framework for Verilog generation. EARL performs policy optimization using verifiable reward signals and introduces entropy-guided selective updates that gate policy gradients to high-entropy tokens. This approach preserves training stability and concentrates gradient updates on functionally important regions of code. Our experiments on VerilogEval and RTLLM show that EARL improves functional pass rates over prior LLM baselines by up to 14.7%, while reducing unnecessary updates and improving training stability. These results indicate that focusing RL on critical, high-uncertainty tokens enables more reliable and targeted policy improvement for structured RTL code generation.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、ハードウェア設計の自動化、特にレジスター・トランスファー・レベル(RTL)コードを自然言語で合成する際の大きな可能性を示している。この進歩にもかかわらず、モデル能力と実世界のRTL設計の要求との間には、構文エラー、機能的幻覚、設計意図への弱い整合性などのギャップが残っている。 RLVR(Reinforcement Learning with Verifiable Rewards)は、ハードウェアが実行可能で正式にチェック可能な信号を提供し、モデル出力を設計意図と整合させるため、このギャップを埋めるための有望なアプローチを提供する。しかし、長く構造化されたRTL符号列では、全てのトークンが機能的正しさに等しく寄与するわけではなく、全てのトークンに勾配が広がり、学習信号が希薄になる。 RTL生成におけるエントロピー解析から得られる重要な洞察は、わずかなトークン(例えば、常に割り当て、ポーズ)だけが高い不確実性を示し、制御フローとモジュール構造に大きな影響を与えることである。これらの課題に対処するため,我々は,Verilog 生成のための Entropy-Aware Reinforcement Learning フレームワーク EARL を提案する。 EARLは、検証可能な報酬信号を使用してポリシー最適化を行い、高エントロピートークンへのゲートポリシー勾配を付与するエントロピー誘導選択的更新を導入する。このアプローチはトレーニングの安定性を保ち、機能的に重要なコードの領域に勾配更新を集中させる。 VerilogEval と RTLLM の実験により,EARL は従来の LLM ベースラインよりも14.7% 向上し,不要な更新を低減し,トレーニング安定性が向上した。これらの結果は、RLを重要かつ不確実なトークンにフォーカスすることで、構造化RTLコード生成のためのより信頼性が高く、ターゲットとしたポリシー改善が可能になることを示唆している。

論文の概要: EARL: Entropy-Aware RL Alignment of LLMs for Reliable RTL Code Generation

関連論文リスト