論文の概要: Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation

• arxiv url: http://arxiv.org/abs/2408.11053v2
• Date: Mon, 03 Feb 2025 19:29:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:54:16.566465
• Title: Revisiting VerilogEval: A Year of Improvements in Large-Language Models for Hardware Code Generation
• Title（参考訳）: VerilogEvalを再考: ハードウェアコード生成のための大規模言語モデルの改善
• Authors: Nathaniel Pinckney, Christopher Batten, Mingjie Liu, Haoxing Ren, Brucek Khailany,
• Abstract要約: オープンソースのVerilogEvalベンチマークのリリース以降,新しい商用およびオープンなモデルを評価する。 最先端のモデルでは測定可能な改善が得られます。 高いパスレートを達成するためには、迅速なエンジニアリングが不可欠であることに気付きました。
• 参考スコア（独自算出の注目度）: 6.463959200930805
• License:
• Abstract: The application of large-language models (LLMs) to digital hardware code generation is an emerging field, with most LLMs primarily trained on natural language and software code. Hardware code like Verilog constitutes a small portion of training data, and few hardware benchmarks exist. The open-source VerilogEval benchmark, released in November 2023, provided a consistent evaluation framework for LLMs on code completion tasks. Since then, both commercial and open models have seen significant development. In this work, we evaluate new commercial and open models since VerilogEval's original release-including GPT-4o, GPT-4 Turbo, Llama3.1 (8B/70B/405B), Llama3 70B, Mistral Large, DeepSeek Coder (33B and 6.7B), CodeGemma 7B, and RTL-Coder-against an improved VerilogEval benchmark suite. We find measurable improvements in state-of-the-art models: GPT-4o achieves a 63% pass rate on specification-to-RTL tasks. The recently released and open Llama3.1 405B achieves a 58% pass rate, almost matching GPT-4o, while the smaller domain-specific RTL-Coder 6.7B models achieve an impressive 34% pass rate. Additionally, we enhance VerilogEval's infrastructure by automatically classifying failures, introducing in-context learning support, and extending the tasks to specification-to-RTL translation. We find that prompt engineering remains crucial for achieving good pass rates and varies widely with model and task. A benchmark infrastructure that allows for prompt engineering and failure analysis is essential for continued model development and deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)をデジタルハードウェアコード生成に適用することは、多くのLLMが主に自然言語とソフトウェアコードに基づいて訓練されている新興分野である。 Verilogのようなハードウェアコードはトレーニングデータのごく一部を占めており、ハードウェアベンチマークはほとんど存在しない。 2023年11月にリリースされたオープンソースのVerilogEvalベンチマークは、コード補完タスクにおけるLCMの一貫性のある評価フレームワークを提供する。 それ以来、商用モデルとオープンモデルの両方が大きな発展を遂げた。 本研究は,VerilogEval のオリジナルリリース版 GPT-4o, GPT-4 Turbo, Llama3.1 (8B/70B/405B), Llama3 70B, Mistral Large, DeepSeek Coder (33B, 6.7B), CodeGemma 7B, RTL-Coder-against を改良した VerilogEval ベンチマークスイートである。 GPT-4oは仕様-RTLタスクにおいて63%のパスレートを達成する。 最近リリースされたLlama3.1 405Bは58%のパスレートを達成し、GPT-4oとほぼ一致するが、小さなドメイン固有のRTL-Coder 6.7Bは34%のパスレートを達成している。 さらに,エラーの自動分類,コンテキスト内学習サポートの導入,仕様-RTL翻訳へのタスク拡張などにより,VerilogEvalのインフラストラクチャも強化する。 優れたパスレートを達成するためには、迅速なエンジニアリングが依然として不可欠であり、モデルやタスクによって大きく異なることが分かっています。 迅速なエンジニアリングと障害分析を可能にするベンチマークインフラストラクチャは、継続的なモデル開発とデプロイメントに不可欠である。

関連論文リスト

• Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning [65.2421542320293]
  推論能力は汎用知能の重要な構成要素である。 OpenAIのoシリーズモデルなどのプロプライエタリ企業による最近の進歩は、推論タスクに顕著な進歩をもたらした。 本稿では、数学的推論タスクのための textbfOutcome textbfREwtextbfArd ベースの強化 textbfLearning により達成できる性能限界を追求する新しい RL フレームワーク OREAL を提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:57:29Z)
• CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance [12.001043263281698]
  既存のメソッドは、テキスト推論とコード生成の間に大きな言語モデル(LLM)を操ることができない。 我々は、LLMコード/テキスト生成を導く効果的な方法であるCodeSteerを紹介する。 GPT-4oをCodeSteerで強化すると、平均的なパフォーマンススコアが53.3から86.4に上昇する。
  論文  参考訳（メタデータ） (2025-02-04T15:53:59Z)
• LLM4CVE: Enabling Iterative Automated Vulnerability Repair with Large Language Models [9.946058168276744]
  大規模言語モデル(LLM)は、多くのソフトウェア欠陥が自動的にパッチを当てられる可能性を開放した。 実世界のコードで脆弱な関数を高い精度で堅牢に修正する反復パイプラインを提案する。 また,Llama 370Bでは,人間の検証による品質スコアが8.51/10,Llama 370Bでは20%に向上した。
  論文  参考訳（メタデータ） (2025-01-07T00:21:42Z)
• PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。 LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
  論文  参考訳（メタデータ） (2024-11-18T06:22:38Z)
• Can EDA Tool Feedback Improve Verilog Generation by LLMs? [25.596711210493172]
  大きな言語モデル(LLM)は、完全に機能するHDLコードを生成するための潜在的なツールとして現れています。 電子設計自動化(EDA)ツールからのフィードバックを利用して,自作のVerilogの誤りを修正できることを評価する。
  論文  参考訳（メタデータ） (2024-11-01T17:33:28Z)
• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• Data is all you need: Finetuning LLMs for Chip Design via an Automated design-data augmentation framework [50.02710905062184]
  本稿では,Verilog と EDA スクリプトに適合する高ボリュームかつ高品質な自然言語を生成する自動設計データ拡張フレームワークを提案する。 Verilog生成の精度は現在の最先端のオープンソースVerilog生成モデルを超え、同じベンチマークで58.8%から70.6%に増加した。
  論文  参考訳（メタデータ） (2024-03-17T13:01:03Z)
• LLM4PLC: Harnessing Large Language Models for Verifiable Programming of PLCs in Industrial Control Systems [9.946058168276744]
  LLM(Large Language Models)は、PLC(Programmable Logic Controllers)が運用する産業制御システム(ICS)のための有効なプログラムを作成できない。 本稿では,ユーザフィードバックと文法チェック,コンパイラ,SMV検証などの外部検証ツールを活用したユーザガイド型反復パイプラインを提案する。 GPT-3.5, GPT-4, Code Llama-7B, Code Llama-34B, Code Llama-34Bで完全なテストスイートを実行する。
  論文  参考訳（メタデータ） (2024-01-08T23:52:42Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。