論文の概要: VHDLSuite: Unified Pipeline for LLM VHDL Generation with Data Synthesis and Evaluation
- arxiv url: http://arxiv.org/abs/2606.13735v1
- Date: Thu, 11 Jun 2026 12:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.532071
- Title: VHDLSuite: Unified Pipeline for LLM VHDL Generation with Data Synthesis and Evaluation
- Title（参考訳）: VHDLSuite:データ合成と評価によるLDM VHDL生成のための統一パイプライン
- Authors: Yijun Shen, Minghao Shao, Yichen Zhao, Zhuoyan Yu, Boyuan Chen, Yik-Cheung Tam, Muhammad Shafique,
- Abstract要約: 本稿では、スケーラブルなVHDL生成評価のためのベンチマーク中心のインフラであるVHDLSuiteを紹介する。
まず,Verilogの設計とその付随するテストベンチを自動的に実行可能なVHDLベンチマークインスタンスに変換するデータパイプラインを提案する。
第2に,200以上のVHDL問題と完全かつ検証されたテストベンチを備えたベンチマークであるVHDLBenchを紹介する。
- 参考スコア（独自算出の注目度）: 7.4655567977646795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLM) have shown impressive capabilities in Register Transfer Level (RTL) code generation, particularly for Verilog. However, evaluating their performance with other Hardware Description Languages (HDL), especially VHDL, remains limited although its distinct language characteristics, such as stricter semantic rules, introduce evaluation considerations that differ from Verilog. This lack of coverage restricts fully understanding of how well current models generalize across hardware design languages with differing structures and semantics. To address this gap, we introduce VHDLSuite, a benchmark-centered infrastructure for scalable VHDL generation evaluation, integrating automated benchmark synthesis, executable validation, and multi-model diagnostic analysis. First, we propose a data pipeline that automatically converts Verilog designs and their accompanying testbenches into executable VHDL benchmark instances, followed by VUnit/GHDL-based validation to ensure each released task is compilable, runnable, and consistently checkable in the VHDL environment. Second, we introduce VHDLBench, a benchmark with over 200 VHDL problems with complete and validated testbenches across a wide range of complexity levels. Third, we extensively evaluate cutting-edge LLMs and uncover key challenges specific on LLM-aided VHDL generation. Our findings provide important insights and support future work in multi-language hardware design automation.Our data pipeline, benchmark, and evaluation framework will be open-sourced.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、特にVerilogにおいて、レジスタ転送レベル(RTL)コード生成において印象的な機能を示している。
しかしながら,他のハードウェア記述言語 (HDL) による性能評価は,厳密なセマンティックルールなどの言語特性がVerilogと異なる評価考察を取り入れているにもかかわらず,依然として限定的である。
このカバレッジの欠如は、現在のモデルが、異なる構造とセマンティクスを持つハードウェアデザイン言語をどのように一般化するかを完全に理解することを制限する。
このギャップに対処するために、VHDLSuiteという、スケーラブルなVHDL生成評価のためのベンチマーク中心のインフラを導入し、自動ベンチマーク合成、実行可能検証、マルチモデル診断分析を統合する。
まず、Verilogの設計とそれに伴うテストベンチを自動的に実行可能なVHDLベンチマークインスタンスに変換し、次にVUnit/GHDLベースの検証を行い、各リリースされたタスクがコンパイル可能で、実行可能で、VHDL環境で一貫してチェック可能であることを確認します。
第二に、VHDLBenchは200以上のVHDL問題を持つベンチマークで、幅広い複雑性レベルにわたって完全かつ検証されたテストベンチである。
第3に, 最先端のLDMを広範囲に評価し, LLM支援VHDL生成に特有な鍵課題を明らかにする。
我々のデータパイプライン、ベンチマーク、評価フレームワークはオープンソースになる予定です。
関連論文リスト
- LocalV: Exploiting Information Locality for IP-level Verilog Generation [45.78831906080782]
レジスター・トランスファー・レベル(RTL)コードの生成は、デジタルハードウェア設計において不可欠だが労働集約的なステップである。
既存のアプローチには、細調整されたドメイン固有モデルと高度なエージェントベースのシステムストラグルが含まれ、産業用IPレベルの設計タスクにスケールする。
モジュールハードウェア設計における情報局所性を活用するマルチエージェントフレームワークであるLocalVを提案する。
論文 参考訳（メタデータ） (2026-01-31T13:01:16Z) - Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization [4.7966941517322725]
大規模言語モデル(LLM)は様々なNLPタスクやドメインで広く使われている。
LLMは、登録-転送レベル(RTL)コード生成や要約といったタスクを約束する。
本稿では,VHDL コード生成および要約タスクにおける LLM の性能向上を目的とした Chain-of-Descriptions (CoDes) を提案する。
論文 参考訳（メタデータ） (2025-07-16T15:05:30Z) - hdl2v: A Code Translation Dataset for Enhanced LLM Verilog Generation [0.9149489479543916]
私たちは出席します。
HDL-to-Verilog – 人間が記述したVerilogデータの量を増やすデータセット。
私たちはその価値を示します。
HDL-to-Verilogは32億重みモデルのパフォーマンスを最大23%向上させる。
論文 参考訳（メタデータ） (2025-06-05T01:29:18Z) - HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases [57.51078142561683]
大規模言語モデル(LLM)は、ハードウェア設計タスクにおいてその可能性を実証している。
しかし、実際のリポジトリレベルのHDLプロジェクトでのパフォーマンスは、数千から数万のコード行で妨げられています。
グラフ検索拡張生成(Graph RAG)とLLMを統合する新しいフレームワークであるHDLxGraphを提案する。
論文 参考訳（メタデータ） (2025-05-21T16:14:10Z) - BinMetric: A Comprehensive Binary Analysis Benchmark for Large Language Models [50.17907898478795]
本稿では,バイナリ解析タスクにおける大規模言語モデルの性能評価のためのベンチマークであるBinMetricを紹介する。
BinMetricは6つの実用的なバイナリ分析タスクにわたる20の実際のオープンソースプロジェクトから得られた1000の質問で構成されている。
本ベンチマークの実証実験では, 各種LLMのバイナリ解析能力について検討し, その強度と限界を明らかにした。
論文 参考訳（メタデータ） (2025-05-12T08:54:07Z) - Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。
本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
論文 参考訳（メタデータ） (2025-02-19T17:53:59Z) - CodeV: Empowering LLMs with HDL Generation through Multi-Level Summarization [32.462699328256384]
ハードウェア設計に大規模な言語モデルを適用する従来の方法は、合成HDLデータセットに依存している。
本稿では,多レベル要約データ合成プロセスとChat-FIM-Tag教師付き微調整手法を統合したHDL生成のための効率的なLCM微調整パイプラインを提案する。
論文 参考訳（メタデータ） (2024-07-15T03:57:20Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation [4.700008016247411]
本稿では,VHDLコード生成タスクの評価に特化して設計された包括的評価フレームワークを提案する。
このデータセットは、Verilog評価問題の集合をVHDLに翻訳し、公開されているVHDL問題を集約することにより、合計202の問題を発生させる。
生成したVHDL符号の機能的正当性を評価するために, 自己検証テストベンチのキュレートセットを利用する。
論文 参考訳（メタデータ） (2024-06-06T00:06:50Z) - Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。
既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。
これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
論文 参考訳（メタデータ） (2023-11-14T14:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。