論文の概要: RealBench: Benchmarking Verilog Generation Models with Real-World IP Designs

• arxiv url: http://arxiv.org/abs/2507.16200v1
• Date: Tue, 22 Jul 2025 03:29:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.950361
• Title: RealBench: Benchmarking Verilog Generation Models with Real-World IP Designs
• Title（参考訳）: RealBench: 実世界のIP設計によるVerilog生成モデルのベンチマーク
• Authors: Pengwei Jin, Di Huang, Chongxiao Li, Shuyao Cheng, Yang Zhao, Xinyao Zheng, Jiaguo Zhu, Shuyi Xing, Bohan Dou, Rui Zhang, Zidong Du, Qi Guo, Xing Hu,
• Abstract要約: 本稿では,実世界のIPレベルのVerilog生成タスクを対象とした最初のベンチマークであるRealBenchを紹介する。 RealBenchは複雑で構造化された、実世界のオープンソースIP設計、マルチモーダルおよびフォーマット設計仕様、厳密な検証環境を備えている。 様々なLLMおよびエージェントの評価によると、最も優れたLLMの1つであるo1-previewでさえ、モジュールレベルのタスクでは13.3%のpass@1しか達成せず、システムレベルのタスクでは0%である。
• 参考スコア（独自算出の注目度）: 26.993718615404926
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The automatic generation of Verilog code using Large Language Models (LLMs) has garnered significant interest in hardware design automation. However, existing benchmarks for evaluating LLMs in Verilog generation fall short in replicating real-world design workflows due to their designs' simplicity, inadequate design specifications, and less rigorous verification environments. To address these limitations, we present RealBench, the first benchmark aiming at real-world IP-level Verilog generation tasks. RealBench features complex, structured, real-world open-source IP designs, multi-modal and formatted design specifications, and rigorous verification environments, including 100% line coverage testbenches and a formal checker. It supports both module-level and system-level tasks, enabling comprehensive assessments of LLM capabilities. Evaluations on various LLMs and agents reveal that even one of the best-performing LLMs, o1-preview, achieves only a 13.3% pass@1 on module-level tasks and 0% on system-level tasks, highlighting the need for stronger Verilog generation models in the future. The benchmark is open-sourced at https://github.com/IPRC-DIP/RealBench.
• Abstract（参考訳）: LLM(Large Language Models)を用いたVerilogコードの自動生成は、ハードウェア設計の自動化に大きな関心を集めている。 しかし、Verilog 生成における LLM の評価のための既存のベンチマークは、設計の単純さ、設計仕様の不十分さ、厳密さの低い検証環境のため、現実世界の設計ワークフローの複製に不足している。 これらの制約に対処するため,実世界のIPレベルのVerilog生成タスクを対象とした最初のベンチマークであるRealBenchを提案する。 RealBenchは複雑で構造化された実世界のオープンソースIP設計、マルチモーダルおよびフォーマット設計仕様、100%ラインカバレッジテストベンチとフォーマルチェッカーを含む厳密な検証環境を備えている。 モジュールレベルのタスクとシステムレベルのタスクの両方をサポートし、LLM機能の包括的な評価を可能にする。 様々なLCMおよびエージェントの評価によると、最高の性能を持つlLMの1つであるo1-previewでさえ、モジュールレベルのタスクでは13.3%のpass@1しか達成せず、システムレベルのタスクでは0%しか達成できず、将来より強力なVerilog生成モデルの必要性が強調されている。 ベンチマークはhttps://github.com/IPRC-DIP/RealBench.comで公開されている。

関連論文リスト

• Evaluating Large Language Models on Non-Code Software Engineering Tasks [4.381476817430934]
  大規模言語モデル(LLM)は、コード理解と生成において顕著な能力を示している。 ソフトウェア工学言語理解(SELU)と呼ばれる最初の包括的なベンチマークを提示する。 SELUは、分類、回帰、名前付きエンティティ認識(NER)とマスケッド言語モデリング(MLM)のターゲットをカバーし、さまざまなソースからデータを引き出す。
  論文  参考訳（メタデータ） (2025-06-12T15:52:32Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• OSS-Bench: Benchmark Generator for Coding LLMs [4.393587297483245]
  本稿では,実世界のオープンソースソフトウェアから大規模かつ実運用的な評価タスクを構築するベンチマークジェネレータOSS-Benchを紹介する。 OSS-Benchは、関数をLLM生成コードに置き換えて、コンパイル性、機能的正確性、メモリ安全性という3つの自然な指標を使用して評価する。 OSS-BenchはOSSの複雑さの進化を生かして過度な適合を緩和することを示した。
  論文  参考訳（メタデータ） (2025-05-18T09:53:51Z)
• HLS-Eval: A Benchmark and Framework for Evaluating LLMs on High-Level Synthesis Design Tasks [4.71707720395444]
  HLS-Evalは、HLS駆動設計のための最初の完全なベンチマークおよび評価フレームワークである。 ベンチマークには、標準のHLSベンチマークと新しいソースから描かれた94のユニークな設計が含まれている。 ベンチマーク以外にも、HLS-Evalは、ローカルおよびホストされたLLMの自動化、並列評価のためのモジュール型のPythonフレームワークを提供している。
  論文  参考訳（メタデータ） (2025-04-16T17:30:36Z)
• TuRTLe: A Unified Evaluation of LLMs for RTL Generation [0.6010802600885173]
  本研究では,主要なRTL生成タスク間でLLMを評価するための統合評価フレームワークTuRTLeを提案する。 オープンLLMの多様なセットをベンチマークし、EDA固有のタスクの長所と短所を分析します。 以上の結果から,DeepSeek R1のような推論モデルの方が,複数の評価基準で常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-03-31T07:43:12Z)
• VeriMind: Agentic LLM for Automated Verilog Generation with a Novel Evaluation Metric [4.590930025882158]
  We propose VeriMind, a agentic LLM framework for Verilog code generation。 本稿では,従来のpass@k測度とARC(Average Refinement Cycles)を組み合わせた新しい評価手法を提案する。 様々なハードウェア設計タスクの実験結果によると、我々のアプローチはpass@kメトリックで最大8.3%、pass@ARCメトリックで最大8.1%向上した。
  論文  参考訳（メタデータ） (2025-03-15T23:43:06Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• Design2Code: Benchmarking Multimodal Code Generation for Automated Front-End Engineering [74.99736967448423]
  私たちは、このタスクのための最初の実世界のベンチマークであるDesign2Codeを構築します。 テストケースとして484の多様な実世界のWebページを手作業でキュレートし、自動評価指標のセットを開発する。 我々の詳細なブレークダウンメトリクスは、入力されたWebページから視覚要素をリコールし、正しいレイアウト設計を生成するモデルがほとんど遅れていることを示している。
  論文  参考訳（メタデータ） (2024-03-05T17:56:27Z)
• MoZIP: A Multilingual Benchmark to Evaluate Large Language Models in Intellectual Property [51.43412400869531]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々は,知的財産に関する初のマルチ言語指向クイズ (Multilingual-oriented quiZ on Intellectual Property, MoZIP) をIP領域におけるLLMの評価のために提案する。 我々はまた,多言語IP関連テキストデータを微調整したBLOOMZベースモデルである,新しいIP指向多言語大言語モデル(MoZi)を開発した。
  論文  参考訳（メタデータ） (2024-02-26T08:27:50Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。