Fugu-MT 論文翻訳(概要): ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols

論文の概要: ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols

arxiv url: http://arxiv.org/abs/2506.07945v2
Date: Tue, 15 Jul 2025 16:24:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 15:29:04.689802
Title: ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols
Title（参考訳）: ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols
Authors: Arnav Sheth, Ivaxi Sheth, Mario Fritz,
Abstract要約: 本稿では,広く使用されているSystemVerilogプロトコルを対象とした最初のベンチマークスイートであるProtocolLLMを紹介する。我々は,ほとんどのモデルがタイミング制約に従う通信プロトコルのSystemVerilogコードを生成するのに失敗したことを観察する。
参考スコア（独自算出の注目度）: 45.66401695351214
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent advances in large language models (LLMs) have demonstrated strong performance in generating code for general-purpose programming languages. However, their potential for hardware description languages (HDLs), such as SystemVerilog, remains largely unexplored. HDL code generation poses unique challenges due to strict timing semantics, concurrency, and synthesizability constraints essential for correct hardware functionality. Further, HDL-based design flows encompass a broad set of tasks beyond structural code generation, including testbench development, assertion-based verification, timing closure, and protocol-level integration for on-chip communication. In this work, we evaluate the capabilities of both open-source and state-of-the-art LLMs in generating synthesizable and functionally accurate SystemVerilog implementations of widely used communication protocols that are critical components of embedded and System-on-Chip (SoC) systems. We introduce ProtocolLLM, the first benchmark suite specifically targeting these protocols with tasks spanning multiple design abstraction levels and varying prompt specificity. Our evaluation method also focuses on timing correctness in addition to synthesizability and syntactic correctness. We observe that most of the models fail to generate SystemVerilog code for communication protocols that follow timing constrains.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、汎用プログラミング言語のコード生成において強力な性能を示している。しかし、SystemVerilogのようなハードウェア記述言語(HDL)のポテンシャルは、まだ明らかにされていない。 HDLコード生成は、厳密なタイミングセマンティクス、並行性、そして正しいハードウェア機能に必要な合成可能性の制約のために、ユニークな課題を生んでいる。さらに、HDLベースの設計フローは、テストベンチ開発、アサーションベースの検証、タイミングクロージャ、オンチップ通信のためのプロトコルレベルの統合など、構造的コード生成以外の幅広いタスクを含んでいる。本研究では,組込みおよびシステム・オン・チップ(SoC)システムにおいて重要なコンポーネントである広く使用されている通信プロトコルのSystemVerilog実装を,合成可能かつ機能的精度で生成する上で,オープンソースと最先端のLLMの両方の能力を評価する。各プロトコルを対象とする最初のベンチマークスイートであるProtocolLLMを紹介した。提案手法は,合成性や構文的正確性に加えて,タイミングの正確性にも焦点をあてる。我々は,ほとんどのモデルがタイミング制約に従う通信プロトコルのSystemVerilogコードを生成するのに失敗したことを観察する。

関連論文リスト

LLM-Assisted Model-Based Fuzzing of Protocol Implementations [9.512044399020514]
プロトコル動作の障害は脆弱性やシステム障害につながる可能性がある。プロトコルテストに対する一般的なアプローチは、プロトコルの状態遷移と期待される振る舞いをキャプチャするマルコフモデルを構築することである。本稿では,大規模言語モデル(LLM)を利用して,ネットワークプロトコルの実装をテストするためのシーケンスを自動的に生成する手法を提案する。
論文参考訳（メタデータ） (2025-08-03T13:16:18Z)
IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文参考訳（メタデータ） (2025-07-30T08:08:48Z)
DecoRTL: A Run-time Decoding Framework for RTL Code Generation with LLMs [0.0]
大規模言語モデル (LLM) は構造的あいまいさや意味的複雑さの領域において信頼性が低いことを示す。本稿では,新しい実行時デコーディング戦略であるDecoRTLを紹介する。私たちのアプローチは、追加のモデル微調整を必要とせずに、完全に推論時に動作します。
論文参考訳（メタデータ） (2025-07-03T01:17:44Z)
Execution Guided Line-by-Line Code Generation [49.1574468325115]
本稿では,言語モデル生成プロセスにリアルタイム実行信号を組み込んだニューラルコード生成手法を提案する。提案手法であるExecutionGuidedFree Guidance (EGCFG) は,実行信号をモデルが生成するコードとして組み込む。
論文参考訳（メタデータ） (2025-06-12T17:50:05Z)
Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文参考訳（メタデータ） (2025-05-28T17:57:47Z)
SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation [5.880496520248658]
SIMCOPILOTは、対話型"コパイロット"スタイルのコーディングアシスタントとして、大規模言語モデル(LLM)の役割をシミュレートするベンチマークである。ベンチマークには、Java(SIMCOPILOTJ)とPython用の専用のサブベンチマークが含まれている。
論文参考訳（メタデータ） (2025-05-21T04:59:44Z)
ComplexVCoder: An LLM-Driven Framework for Systematic Generation of Complex Verilog Code [9.68747119462712]
本稿では,複雑なVerilogコードの生成品質と効率を向上させるオープンソースフレームワークであるComplexVCoderを提案する。具体的には、中間表現を利用した2段階生成機構を導入し、より構造化された自然言語記述から複雑なVerilog設計への遷移を可能にする。さらに、ルールベースのアライメント手法とドメイン固有検索拡張生成(RAG)を導入し、合成コードの正確性をさらに向上する。
論文参考訳（メタデータ） (2025-04-29T11:22:06Z)
VeriMind: Agentic LLM for Automated Verilog Generation with a Novel Evaluation Metric [4.590930025882158]
We propose VeriMind, a agentic LLM framework for Verilog code generation。本稿では,従来のpass@k測度とARC(Average Refinement Cycles)を組み合わせた新しい評価手法を提案する。様々なハードウェア設計タスクの実験結果によると、我々のアプローチはpass@kメトリックで最大8.3%、pass@ARCメトリックで最大8.1%向上した。
論文参考訳（メタデータ） (2025-03-15T23:43:06Z)
Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis [14.458529723566379]
LLM(Large Language Model)は、PythonやC++などのプログラミング言語に使用される。本稿では,LLMを利用してHLS(High-Level Synthesis)ベースのハードウェア設計を行う。
論文参考訳（メタデータ） (2025-02-19T17:53:59Z)
EpiCoder: Encompassing Diversity and Complexity in Code Generation [49.170195362149386]
既存のコード生成方法はシードデータとしてコードスニペットを使用する。階層的なコード機能を中心に展開する,新しい機能ツリーベースの合成フレームワークを提案する。我々のフレームワークは、生成されたコードの複雑さを正確に制御し、関数レベルの操作からマルチファイルのシナリオまで幅広い機能を実現する。
論文参考訳（メタデータ） (2025-01-08T18:58:15Z)
HiVeGen -- Hierarchical LLM-based Verilog Generation for Scalable Chip Design [55.54477725000291]
HiVeGenは階層的なVerilog生成フレームワークで、生成タスクを階層的なサブモジュールに分解する。自動設計空間探索(DSE)を階層対応のプロンプト生成に変換し、コードの再利用を強化するために重みに基づく検索を導入する。エラー補正コストを低減し、生成した設計の質を大幅に向上させる。
論文参考訳（メタデータ） (2024-12-06T19:37:53Z)
Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
論文参考訳（メタデータ） (2024-09-19T04:13:58Z)
Towards Auto-Modeling of Formal Verification for NextG Protocols: A Multimodal cross- and self-attention Large Language Model Approach [3.9155346446573502]
本稿では,5GおよびNextGプロトコル(AVRE)のための実世界プロンプトを用いた形式検証の自動モデリングを提案する。 AVREは次世代通信プロトコル(NextG)の正式な検証のために設計された新しいシステムである。
論文参考訳（メタデータ） (2023-12-28T20:41:24Z)
Towards Semantic Communication Protocols: A Probabilistic Logic Perspective [69.68769942563812]
我々は,NPMを確率論理型言語ProbLogで記述された解釈可能なシンボルグラフに変換することによって構築された意味プロトコルモデル(SPM)を提案する。その解釈性とメモリ効率を利用して、衝突回避のためのSPM再構成などのいくつかの応用を実演する。
論文参考訳（メタデータ） (2022-07-08T14:19:36Z)
Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
論文参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。