論文の概要: Enhancing Large Language Models for Hardware Verification: A Novel SystemVerilog Assertion Dataset

• arxiv url: http://arxiv.org/abs/2503.08923v1
• Date: Tue, 11 Mar 2025 22:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:17.595145
• Title: Enhancing Large Language Models for Hardware Verification: A Novel SystemVerilog Assertion Dataset
• Title（参考訳）: ハードウェア検証のための大規模言語モデルの強化:新しいシステムVerilog Assertionデータセット
• Authors: Anand Menon, Samit S Miftah, Shamik Kundu, Souvik Kundu, Amisha Srivastava, Arnab Raha, Gabriel Theodor Sonnenschein, Suvadeep Banerjee, Deepak Mathaikutty, Kanad Basu,
• Abstract要約: **VERT**は、LLMを用いたSystemVerilogアサーション生成を強化するために設計されたオープンソースのデータセットである。 学術と産業の研究者たちが、オープンソースモデルを微調整し、精度と効率の両方で、より大きなプロプライエタリモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 3.8212435331909256
• License:
• Abstract: Hardware verification is crucial in modern SoC design, consuming around 70% of development time. SystemVerilog assertions ensure correct functionality. However, existing industrial practices rely on manual efforts for assertion generation, which becomes increasingly untenable as hardware systems become complex. Recent research shows that Large Language Models (LLMs) can automate this process. However, proprietary SOTA models like GPT-4o often generate inaccurate assertions and require expensive licenses, while smaller open-source LLMs need fine-tuning to manage HDL code complexities. To address these issues, we introduce **VERT**, an open-source dataset designed to enhance SystemVerilog assertion generation using LLMs. VERT enables researchers in academia and industry to fine-tune open-source models, outperforming larger proprietary ones in both accuracy and efficiency while ensuring data privacy through local fine-tuning and eliminating costly licenses. The dataset is curated by systematically augmenting variables from open-source HDL repositories to generate synthetic code snippets paired with corresponding assertions. Experimental results demonstrate that fine-tuned models like Deepseek Coder 6.7B and Llama 3.1 8B outperform GPT-4o, achieving up to 96.88% improvement over base models and 24.14% over GPT-4o on platforms including OpenTitan, CVA6, OpenPiton and Pulpissimo. VERT is available at https://github.com/AnandMenon12/VERT.
• Abstract（参考訳）: ハードウェア検証は現代のSoC設計において重要であり、開発時間の約70%を消費する。 SystemVerilogのアサーションは正しい機能を保証する。 しかし、既存の産業慣行はアサーション生成のための手作業に依存しており、ハードウェアシステムが複雑化するにつれて、ますます不可能になる。 近年の研究では、LLM(Large Language Models)がこのプロセスを自動化できることが示されている。 しかし、GPT-4oのようなプロプライエタリなSOTAモデルは、しばしば不正確なアサーションを生成し、高価なライセンスを必要とする。 これらの問題に対処するために、LLMを用いたSystemVerilogアサーション生成を強化するために設計されたオープンソースのデータセット**VERT**を紹介する。 VERTは、学術と産業の研究者たちがオープンソースモデルを微調整し、精度と効率の両方でより大きなプロプライエタリモデルよりも優れ、ローカルな微調整とコストのかかるライセンスの排除を通じてデータのプライバシを保証する。 データセットは、オープンソースのHDLリポジトリから変数を体系的に拡張して、対応するアサーションと組み合わせた合成コードスニペットを生成することで、キュレートされる。 実験の結果、Deepseek Coder 6.7B や Llama 3.1 8B のような微調整されたモデルは GPT-4o よりも96.88%向上し、OpenTitan、CVA6、OpenPiton、Pulpissimo といったプラットフォーム上では GPT-4o よりも24.14%向上した。 VERTはhttps://github.com/AnandMenon12/VERTで入手できる。

関連論文リスト

• CodeLutra: Boosting LLM Code Generation via Preference-Guided Refinement [32.46078765471136]
  大規模言語モデル(LLM)はコード生成に革命をもたらしたが、かなりのリソースを必要とし、しばしば過度に一般化する。 私たちは、正しいコード試行と間違ったコード試行の両方を活用するフレームワークであるCodeLutraを紹介します。 成功と失敗の両方から学ぶことで、CodeLutraは、高品質なコード生成へのスケーラブルで効率的なパスを提供する。
  論文  参考訳（メタデータ） (2024-11-07T21:51:07Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Automatically Improving LLM-based Verilog Generation using EDA Tool Feedback [25.596711210493172]
  大きな言語モデル(LLM)は、完全に機能するHDLコードを生成するための潜在的なツールとして現れています。 電子設計自動化(EDA)ツールからのフィードバックを利用して,自作のVerilogの誤りを修正できることを評価する。
  論文  参考訳（メタデータ） (2024-11-01T17:33:28Z)
• Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation [6.463959200930805]
  オープンソースのVerilogEvalベンチマークのリリース以降,新しい商用およびオープンなモデルを評価する。 最先端のモデルでは測定可能な改善が得られます。 高いパスレートを達成するためには、迅速なエンジニアリングが不可欠であることに気付きました。
  論文  参考訳（メタデータ） (2024-08-20T17:58:56Z)
• OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection [54.775409528658486]
  OriGenは、セルフリフレクション機能と新しいデータセット拡張方法論を組み込んだ、完全なオープンソースフレームワークである。 このアプローチでは,オープンソースのRTLコードデータセットの品質向上のために,コード-コード拡張技術を採用している。
  論文  参考訳（メタデータ） (2024-07-23T07:22:25Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• Data is all you need: Finetuning LLMs for Chip Design via an Automated design-data augmentation framework [50.02710905062184]
  本稿では,Verilog と EDA スクリプトに適合する高ボリュームかつ高品質な自然言語を生成する自動設計データ拡張フレームワークを提案する。 Verilog生成の精度は現在の最先端のオープンソースVerilog生成モデルを超え、同じベンチマークで58.8%から70.6%に増加した。
  論文  参考訳（メタデータ） (2024-03-17T13:01:03Z)
• Comparing GPT-4 and Open-Source Language Models in Misinformation Mitigation [6.929834518749884]
  GPT-4は、この領域では強いことが知られているが、クローズドソースであり、潜在的に高価であり、異なるバージョン間で不安定を示すことができる。 我々は、Zephyr-7bが、一般的なアプローチの重要な制限を克服し、一貫した代替手段を提供することを示す。 そして、GPT-3.5が不安定な性能を示し、この非常に広く使われているモデルが誤情報検出の誤った結果をもたらす可能性があることを強調した。
  論文  参考訳（メタデータ） (2024-01-12T22:27:25Z)
• LLM4PLC: Harnessing Large Language Models for Verifiable Programming of PLCs in Industrial Control Systems [9.946058168276744]
  LLM(Large Language Models)は、PLC(Programmable Logic Controllers)が運用する産業制御システム(ICS)のための有効なプログラムを作成できない。 本稿では,ユーザフィードバックと文法チェック,コンパイラ,SMV検証などの外部検証ツールを活用したユーザガイド型反復パイプラインを提案する。 GPT-3.5, GPT-4, Code Llama-7B, Code Llama-34B, Code Llama-34Bで完全なテストスイートを実行する。
  論文  参考訳（メタデータ） (2024-01-08T23:52:42Z)
• Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
  Genixerは4つの重要なステップからなる包括的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。 タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
  論文  参考訳（メタデータ） (2023-12-11T09:44:41Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。