論文の概要: VerilogEval: Evaluating Large Language Models for Verilog Code Generation

• arxiv url: http://arxiv.org/abs/2309.07544v1
• Date: Thu, 14 Sep 2023 09:15:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:38:44.472759
• Title: VerilogEval: Evaluating Large Language Models for Verilog Code Generation
• Title（参考訳）: VerilogEval:Verilogコード生成のための大規模言語モデルの評価
• Authors: Mingjie Liu, Nathaniel Pinckney, Brucek Khailany and Haoxing Ren
• Abstract要約: 本稿では,VerilogインストラクショナルWebサイトHDLBitsの156問題からなる総合評価データセットを提案する。 評価セットは、単純な組合せ回路から複雑な有限状態マシンまで、様々なVerilogコード生成タスクからなる。
• 参考スコア（独自算出の注目度）: 6.88526119890374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing popularity of large language models (LLMs) has paved the way for their application in diverse domains. This paper proposes a benchmarking framework tailored specifically for evaluating LLM performance in the context of Verilog code generation for hardware design and verification. We present a comprehensive evaluation dataset consisting of 156 problems from the Verilog instructional website HDLBits. The evaluation set consists of a diverse set of Verilog code generation tasks, ranging from simple combinational circuits to complex finite state machines. The Verilog code completions can be automatically tested for functional correctness by comparing the transient simulation outputs of the generated design with a golden solution. We also demonstrate that the Verilog code generation capability of pretrained language models could be improved with supervised fine-tuning by bootstrapping with LLM generated synthetic problem-code pairs.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の人気が高まり、様々な分野への応用の道が開かれた。 本稿では,ハードウェア設計と検証のための Verilog コード生成の文脈で LLM 性能を評価するためのベンチマークフレームワークを提案する。 本稿では,VerilogインストラクショナルWebサイトHDLBitsから156個の問題からなる総合評価データセットを提案する。 評価セットは、単純な組合せ回路から複雑な有限状態マシンまで、様々なVerilogコード生成タスクからなる。 生成した設計の過渡的シミュレーション出力を黄金解と比較することにより、Verilogのコード補完を機能的正当性のために自動テストすることができる。 また,LLM生成した合成問題コードペアによるブートストラップにより,教師付き微調整により,事前学習言語モデルのVerilogコード生成能力を向上できることを実証した。

関連論文リスト

• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• VerilogCoder: Autonomous Verilog Coding Agents with Graph-based Planning and Abstract Syntax Tree (AST)-based Waveform Tracing Tool [4.027984601764008]
  We propose VerilogCoder, a system of multiple Artificial Intelligence (AI) agent for Verilog code generation。 提案手法は、構文的に94.2%、機能的に正当なVerilogコードを生成する。
  論文  参考訳（メタデータ） (2024-08-15T20:06:06Z)
• Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [54.51932175059004]
  本稿では,大規模言語モデルのコード生成能力を高めるために,合成命令を生成するスケーラブルな手法を提案する。 提案したアルゴリズムは進化過程を模倣し、自己インストラクションを利用して限られた数の種子から多数の合成サンプルを生成する。
  論文  参考訳（メタデータ） (2024-07-29T20:42:59Z)
• A Multi-Expert Large Language Model Architecture for Verilog Code Generation [5.159745269633967]
  本稿では,Verilog Code Generation (MEV-LLM) のための,革新的なマルチエキスパート LLM アーキテクチャを提案する。 我々のアーキテクチャは、複数のLCMを一意に統合しており、それぞれが、異なるレベルの設計複雑さに対して分類されたデータセットで微調整されている。 実験から得られた実証的な証拠は、構文的に、機能的に正しい生成したVerilog出力の比率において顕著な改善点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-11T16:58:29Z)
• Data is all you need: Finetuning LLMs for Chip Design via an Automated design-data augmentation framework [50.02710905062184]
  本稿では,Verilog と EDA スクリプトに適合する高ボリュームかつ高品質な自然言語を生成する自動設計データ拡張フレームワークを提案する。 Verilog生成の精度は現在の最先端のオープンソースVerilog生成モデルを超え、同じベンチマークで58.8%から70.6%に増加した。
  論文  参考訳（メタデータ） (2024-03-17T13:01:03Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• VeriGen: A Large Language Model for Verilog Code Generation [22.837558083876743]
  GitHubとVerilogの教科書からコンパイルされたVerilogデータセット上に、既存のLarge Language Models(LLM)を微調整します。 ここでは、細調整されたオープンソースのCodeGen-16Bモデルにより、商用のGPT-3.5-turboモデルよりも1.1%向上した。 特に、様々な問題カテゴリにまたがって構文的に正しいVerilogコードを生成することで、事前訓練済みのVerilogコードよりも41%改善されている。
  論文  参考訳（メタデータ） (2023-07-28T02:57:14Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)
• Benchmarking Large Language Models for Automated Verilog RTL Code Generation [21.747037230069854]
  有用なVerilogを生成するために,大規模言語モデル(LLM)を特徴付ける。 機能解析のためのテストベンチと,Verilogコードの構文をテストするフローからなる評価フレームワークを構築した。 その結果,LLMの微調整結果は,構文的に正しいコードを生成する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-13T16:34:39Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。