論文の概要: Exploring the Agentic Frontier of Verilog Code Generation
- arxiv url: http://arxiv.org/abs/2603.19347v2
- Date: Tue, 24 Mar 2026 16:20:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 15:07:29.981437
- Title: Exploring the Agentic Frontier of Verilog Code Generation
- Title(参考訳): Verilogコード生成のエージェントフロンティアを探る
- Authors: Patrick Yubeaton, Siddharth Garg, Chinmay Hegde,
- Abstract要約: 本稿では,Verilog 生成のためのエージェント LLM を初めて体系的に評価する。
構造化プロンプトとツール設計がパフォーマンスに与える影響について検討する。
オープンソースモデルとクローズドソースモデルのパフォーマンスギャップは、より高いクラッシュ率とより弱いツール出力の解釈によって引き起こされる。
- 参考スコア(独自算出の注目度): 21.677000877812063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have made rapid advancements in code generation for popular languages such as Python and C++. Many of these recent gains can be attributed to the use of ``agents'' that wrap domain-relevant tools alongside LLMs. Hardware design languages such as Verilog have also seen improved code generation in recent years, but the impact of agentic frameworks on Verilog code generation tasks remains unclear. In this work, we present the first systematic evaluation of agentic LLMs for Verilog generation, using the recently introduced CVDP benchmark. We also introduce several open-source hardware design agent harnesses, providing a model-agnostic baseline for future work. Through controlled experiments across frontier models, we study how structured prompting and tool design affect performance, analyze agent failure modes and tool usage patterns, compare open-source and closed-source models, and provide qualitative examples of successful and failed agent runs. Our results show that naive agentic wrapping around frontier models can degrade performance (relative to standard forward passes with optimized prompts), but that structured harnesses meaningfully match and in some cases exceed non-agentic baselines. We find that the performance gap between open and closed source models is driven by both higher crash rates and weaker tool output interpretation. Our exploration illuminates the path towards designing special-purpose agents for verilog generation in the future.
- Abstract(参考訳): 大規模言語モデル(LLM)は、PythonやC++のような一般的な言語のためのコード生成を急速に進歩させた。
これらの最近の成果の多くは、LLMと共にドメイン関連ツールをラップする ``agents'' の使用によるものである。
Verilogのようなハードウェア設計言語も近年、コード生成の改善が見られるが、エージェントフレームワークがVerilogコード生成タスクに与える影響はいまだ不明である。
本稿では,最近導入されたCVDPベンチマークを用いて,Verilog 生成のためのエージェント LLM のシステム評価を行った。
また,オープンソースハードウェア設計エージェントのハーネスを導入し,将来的な作業のためのモデルに依存しないベースラインを提供する。
本研究は、フロンティアモデル間の制御実験を通じて、構造化プロンプトとツール設計がパフォーマンスに与える影響、エージェント障害モードとツール使用パターンの分析、オープンソースモデルとクローズドソースモデルの比較、成功したエージェント実行の定性的な例を提供する。
以上の結果から,フロンティアモデルに内在するエージェントラッピングは性能を低下させる(最適化されたプロンプトによる標準フォワードパスと比較して)が,構造的ハーネスは有意に一致し,場合によっては非エージェントベースラインを超えていることがわかった。
オープンソースモデルとクローズドソースモデルのパフォーマンスギャップは、より高いクラッシュ率とより弱いツール出力の解釈によって引き起こされる。
本研究は,将来,ベリログ生成のための特別目的エージェントの設計への道筋を照らすものである。
関連論文リスト
- VeriAgent: A Tool-Integrated Multi-Agent System with Evolving Memory for PPA-Aware RTL Code Generation [52.43796056267479]
高品質なベリログコード生成のためのPPA対応ツール統合マルチエージェントフレームワークを提案する。
当社のフレームワークでは,EDAツールをtextitProgrammer Agent, textitCorrectness Agent, textitPPA Agentで構成されるクローズドループワークフローに明示的に組み込んでいる。
モデル再トレーニングなしに継続的な改善をサポートするために,構造化メモリノードに最適化エクスペリエンスを外部化するtextitEvolved Memory Mechanismを導入する。
論文 参考訳(メタデータ) (2026-03-18T11:25:40Z) - Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks [22.908904483320953]
コーディングタスクにおけるLarge Language Models (LLM) は、しばしばその広範な事前学習コーパスの反映である。
動作プリミティブのセットをLCMに装備する一般のIRAフレームワークであるIRAエージェントを提案する。
我々は,Cangjie 用の ILA エージェントをインスタンス化し,コード生成,翻訳,プログラム修復タスクのパフォーマンスを評価する。
論文 参考訳(メタデータ) (2026-01-16T09:06:47Z) - Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。
ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。
我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
論文 参考訳(メタデータ) (2025-10-11T18:11:09Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳(メタデータ) (2025-10-02T06:25:10Z) - On LLM-Assisted Generation of Smart Contracts from Business Processes [0.08192907805418582]
大規模言語モデル(LLM)は、ソフトウェアの生成方法の現実を変えました。
本稿では、ビジネスプロセス記述からスマートコントラクトコードを生成するためのLCMの使用について探索的研究を行う。
以上の結果から,LLMの性能はスマートコントラクト開発に必要な信頼性に劣ることがわかった。
論文 参考訳(メタデータ) (2025-07-30T20:39:45Z) - Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。
当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。
当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
論文 参考訳(メタデータ) (2025-03-31T07:31:32Z) - Large Language Model for Verilog Generation with Code-Structure-Guided Reinforcement Learning [29.135207235743795]
本稿では、強化学習によって強化されたLLMであるVeriSeekを紹介し、高いVerilogコード生成性能を実現する。
我々の強化学習アプローチでは、事前学習されたモデルを洗練するためのフィードバック信号として、コード構造情報を用いる。
実験によると、VeriSeekは複数のベンチマークで最先端のメソッドよりも優れています。
論文 参考訳(メタデータ) (2024-07-21T11:25:21Z) - SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。
我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。
コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
論文 参考訳(メタデータ) (2024-06-18T14:54:37Z) - RepoAgent: An LLM-Powered Open-Source Framework for Repository-level
Code Documentation Generation [79.83270415843857]
コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。
RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
論文 参考訳(メタデータ) (2024-02-26T15:39:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。