論文の概要: VHDL-REPOBENCH: A Repository-Level Benchmark for Evaluating Large Language Models on VHDL Design Generation
- arxiv url: http://arxiv.org/abs/2610.05380v1
- Date: Sun, 04 Oct 2026 17:12:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 14:10:15.835647
- Title: VHDL-REPOBENCH: A Repository-Level Benchmark for Evaluating Large Language Models on VHDL Design Generation
- Title（参考訳）: VHDL-REPOBENCH:VHDL設計生成における大規模言語モデル評価のためのリポジトリレベルベンチマーク
- Abstract要約: 大規模でクロスファイルなリポジトリレベルのベンチマークであるVHDL-REPOBENCHを導入し,大規模言語モデルの評価を行う。
VHDL-REPOBENCHは、2.5kのVHDLファイルと500のテストベンチを含む、100のオープンソースVHDLリポジトリをキュレートする。
我々は,GPT-4o,Llama-3-70B,Qwen2.5-72B,CodeLlama-70B,ReflexionやCoDesなどの多段階推論手法など,最先端モデルの評価を行った。
- 参考スコア（独自算出の注目度）: 5.192726178653477
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) are increasingly applied in hardware design automation, demonstrating strong potential in generating and understanding hardware description languages. However, most existing benchmarks focus on Verilog, with limited evaluation of VHDL, which remains widely used in industry and academia for FPGA and safety-critical systems. To address this gap, we introduce VHDL-REPOBENCH, a large-scale, cross-file, repository-level benchmark for assessing LLM capabilities on realistic VHDL design generation and analysis tasks. VHDL-REPOBENCH curates ~100 open-source VHDL repositories, encompassing ~2.5k VHDL files and ~500 testbenches, and provides structured problem statements, module stubs, and self-verifying testbenches. The benchmark enables comprehensive evaluation across syntax, semantic correctness, hierarchical reasoning, cross-file dependency resolution, and functional verification. We evaluate several state-of-the-art models, including GPT-4o, Llama-3-70B, Qwen2.5-72B, CodeLlama-70B, and multi-step reasoning approaches such as Reflexion and CoDes. Results reveal that while current LLMs achieve moderate line- and block-level accuracy, substantial challenges remain in multi-file reasoning, hierarchical design understanding, and specification-to-module generation. VHDL-REPOBENCH represents the first large-scale VHDL-focused benchmark and provides a valuable resource for the hardware design community to evaluate, compare, and advance LLM capabilities for practical VHDL development.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ハードウェア設計の自動化にますます適用され、ハードウェア記述言語の生成と理解において強力な可能性を示している。
しかし、既存のベンチマークのほとんどはVerilogに重点を置いており、VHDLの評価は限られている。
このギャップに対処するために、我々は、現実的なVHDL設計および解析タスクにおいてLLM能力を評価するための大規模でクロスファイルなリポジトリレベルのベンチマークであるVHDL-REPOBENCHを紹介する。
VHDL-REPOBENCHは、約100のオープンソースVHDLリポジトリをキュレートし、2.5kのVHDLファイルと500のテストベンチを含み、構造化された問題ステートメント、モジュールスタブ、自己検証テストベンチを提供する。
このベンチマークは、構文、意味的正確性、階層的推論、ファイル間の依存関係の解決、機能的検証などにわたる包括的な評価を可能にする。
我々は,GPT-4o,Llama-3-70B,Qwen2.5-72B,CodeLlama-70B,ReflexionやCoDesなどの多段階推論手法など,最先端モデルの評価を行った。
その結果、現在のLLMは行レベルとブロックレベルの精度が適度である一方で、マルチファイル推論、階層設計の理解、モジュール間の仕様生成において大きな課題が残っていることが明らかとなった。
VHDL-REPOBENCHは、VHDLにフォーカスした最初の大規模ベンチマークであり、実用的なVHDL開発のためのLCM機能を評価、比較、進歩するためのハードウェア設計コミュニティにとって貴重なリソースを提供する。
関連論文リスト
- LLVM-Bench: Benchmarking and Advancing Large Language Models for LLVM Compiler Issue Resolution [14.546026043461476]
LLVMイシュー解決のための最初の大規模ベンチマークであるLLVM-Benchを紹介する。
問題再現、パッチアプリケーション、コンパイラ構築、テスト実行を自動化するスケーラブルな評価プラットフォームであるLLVM-Gymも開発しています。
以上の結果から,LLVM-Ensは最大21.99%の解像度を実現し,LLVMの問題解決をさらに改善した。
論文 参考訳（メタデータ） (2026-07-01T09:50:26Z) - VHDLSuite: Unified Pipeline for LLM VHDL Generation with Data Synthesis and Evaluation [7.4655567977646795]
本稿では、スケーラブルなVHDL生成評価のためのベンチマーク中心のインフラであるVHDLSuiteを紹介する。
まず,Verilogの設計とその付随するテストベンチを自動的に実行可能なVHDLベンチマークインスタンスに変換するデータパイプラインを提案する。
第2に,200以上のVHDL問題と完全かつ検証されたテストベンチを備えたベンチマークであるVHDLBenchを紹介する。
論文 参考訳（メタデータ） (2026-06-11T12:03:49Z) - LocalV: Exploiting Information Locality for IP-level Verilog Generation [45.78831906080782]
レジスター・トランスファー・レベル(RTL)コードの生成は、デジタルハードウェア設計において不可欠だが労働集約的なステップである。
既存のアプローチには、細調整されたドメイン固有モデルと高度なエージェントベースのシステムストラグルが含まれ、産業用IPレベルの設計タスクにスケールする。
モジュールハードウェア設計における情報局所性を活用するマルチエージェントフレームワークであるLocalVを提案する。
論文 参考訳（メタデータ） (2026-01-31T13:01:16Z) - Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization [4.7966941517322725]
大規模言語モデル(LLM)は様々なNLPタスクやドメインで広く使われている。
LLMは、登録-転送レベル(RTL)コード生成や要約といったタスクを約束する。
本稿では,VHDL コード生成および要約タスクにおける LLM の性能向上を目的とした Chain-of-Descriptions (CoDes) を提案する。
論文 参考訳（メタデータ） (2025-07-16T15:05:30Z) - HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases [57.51078142561683]
大規模言語モデル(LLM)は、ハードウェア設計タスクにおいてその可能性を実証している。
しかし、実際のリポジトリレベルのHDLプロジェクトでのパフォーマンスは、数千から数万のコード行で妨げられています。
グラフ検索拡張生成(Graph RAG)とLLMを統合する新しいフレームワークであるHDLxGraphを提案する。
論文 参考訳（メタデータ） (2025-05-21T16:14:10Z) - BinMetric: A Comprehensive Binary Analysis Benchmark for Large Language Models [50.17907898478795]
本稿では,バイナリ解析タスクにおける大規模言語モデルの性能評価のためのベンチマークであるBinMetricを紹介する。
BinMetricは6つの実用的なバイナリ分析タスクにわたる20の実際のオープンソースプロジェクトから得られた1000の質問で構成されている。
本ベンチマークの実証実験では, 各種LLMのバイナリ解析能力について検討し, その強度と限界を明らかにした。
論文 参考訳（メタデータ） (2025-05-12T08:54:07Z) - Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。
本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
論文 参考訳（メタデータ） (2025-02-19T17:53:59Z) - VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation [4.700008016247411]
本稿では,VHDLコード生成タスクの評価に特化して設計された包括的評価フレームワークを提案する。
このデータセットは、Verilog評価問題の集合をVHDLに翻訳し、公開されているVHDL問題を集約することにより、合計202の問題を発生させる。
生成したVHDL符号の機能的正当性を評価するために, 自己検証テストベンチのキュレートセットを利用する。
論文 参考訳（メタデータ） (2024-06-06T00:06:50Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。