論文の概要: Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization
- arxiv url: http://arxiv.org/abs/2507.12308v1
- Date: Wed, 16 Jul 2025 15:05:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.442122
- Title: Chain-of-Descriptions: Improving Code LLMs for VHDL Code Generation and Summarization
- Title(参考訳): 記述の連鎖:VHDLコード生成と要約のためのコードLLMの改善
- Authors: Prashanth Vijayaraghavan, Apoorva Nitsure, Charles Mackin, Luyao Shi, Stefano Ambrogio, Arvind Haran, Viresh Paruthi, Ali Elzein, Dan Coops, David Beymer, Tyler Baldwin, Ehsan Degan,
- Abstract要約: 大規模言語モデル(LLM)は様々なNLPタスクやドメインで広く使われている。
LLMは、登録-転送レベル(RTL)コード生成や要約といったタスクを約束する。
本稿では,VHDL コード生成および要約タスクにおける LLM の性能向上を目的とした Chain-of-Descriptions (CoDes) を提案する。
- 参考スコア(独自算出の注目度): 4.7966941517322725
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) have become widely used across diverse NLP tasks and domains, demonstrating their adaptability and effectiveness. In the realm of Electronic Design Automation (EDA), LLMs show promise for tasks like Register-Transfer Level (RTL) code generation and summarization. However, despite the proliferation of LLMs for general code-related tasks, there's a dearth of research focused on evaluating and refining these models for hardware description languages (HDLs), notably VHDL. In this study, we evaluate the performance of existing code LLMs for VHDL code generation and summarization using various metrics and two datasets -- VHDL-Eval and VHDL-Xform. The latter, an in-house dataset, aims to gauge LLMs' understanding of functionally equivalent code. Our findings reveal consistent underperformance of these models across different metrics, underscoring a significant gap in their suitability for this domain. To address this challenge, we propose Chain-of-Descriptions (CoDes), a novel approach to enhance the performance of LLMs for VHDL code generation and summarization tasks. CoDes involves generating a series of intermediate descriptive steps based on: (i) the problem statement for code generation, and (ii) the VHDL code for summarization. These steps are then integrated with the original input prompt (problem statement or code) and provided as input to the LLMs to generate the final output. Our experiments demonstrate that the CoDes approach significantly surpasses the standard prompting strategy across various metrics on both datasets. This method not only improves the quality of VHDL code generation and summarization but also serves as a framework for future research aimed at enhancing code LLMs for VHDL.
- Abstract(参考訳): 大規模言語モデル(LLM)は様々なNLPタスクやドメインで広く使われ、それらの適応性と有効性を示している。
電子設計自動化(EDA)の領域では、LLMは登録-転送レベル(RTL)コード生成や要約といったタスクを約束する。
しかしながら、一般的なコード関連タスクに対するLLMの普及にもかかわらず、ハードウェア記述言語(HDL)、特にVHDL(VHDL)に対するこれらのモデルの評価と精細化に焦点を当てた研究が相次いだ。
本研究では、VHDLコード生成と要約のための既存のコードLLMの性能を、様々なメトリクスとVHDL-EvalとVHDL-Xformの2つのデータセットを用いて評価する。
後者は社内データセットであり、LLMが機能的に等価なコードに対する理解を測ることを目的としている。
以上の結果から,これらのモデルを異なる指標で一貫した不整合性が明らかとなり,この領域に適合する可能性に大きなギャップがあることが示唆された。
この課題に対処するために、VHDLコード生成および要約タスクのためのLLMの性能向上のための新しいアプローチであるChain-of-Descriptions (CoDes)を提案する。
CoDesは以下の一連の中間記述ステップを生成する。
(i)コード生成の問題文及び
(ii)要約のためのVHDLコード。
これらのステップは元の入力プロンプト(problem文またはコード)と統合され、LLMへの入力として最終的な出力を生成する。
私たちの実験では、CoDesアプローチが、両方のデータセット上のさまざまなメトリクスの標準的なプロンプト戦略をはるかに上回っていることが示されています。
この手法は,VHDLのコード生成と要約の質を向上させるだけでなく,VHDL用コードLLMの強化を目的とした将来の研究のためのフレームワークとしても機能する。
関連論文リスト
- Large Language Models for Code Generation: A Comprehensive Survey of Challenges, Techniques, Evaluation, and Applications [0.9105696129628794]
大規模言語モデル(LLM)は多くの分野においてその顕著な能力を示している。
この調査は、LLMがユーザに対して、技術的背景に関係なく、ヒューマン言語を使用して実行可能なコードを自動的に生成する方法に焦点を当てている。
論文 参考訳(メタデータ) (2025-03-03T07:17:30Z) - A Performance Study of LLM-Generated Code on Leetcode [1.747820331822631]
本研究では,Large Language Models (LLM) によるコード生成の効率性を評価する。
モデル温度や成功率などの要因とコード性能への影響を考慮し、18個のLLMを比較した。
LLMは、人間によって書かれたコードよりも平均的に、より効率的なコードを生成することができる。
論文 参考訳(メタデータ) (2024-07-31T13:10:03Z) - Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。
最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。
プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文 参考訳(メタデータ) (2024-07-17T11:35:00Z) - CodeV: Empowering LLMs with HDL Generation through Multi-Level Summarization [32.462699328256384]
ハードウェア設計に大規模な言語モデルを適用する従来の方法は、合成HDLデータセットに依存している。
本稿では,多レベル要約データ合成プロセスとChat-FIM-Tag教師付き微調整手法を統合したHDL生成のための効率的なLCM微調整パイプラインを提案する。
論文 参考訳(メタデータ) (2024-07-15T03:57:20Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳(メタデータ) (2024-06-11T16:15:06Z) - VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation [4.700008016247411]
本稿では,VHDLコード生成タスクの評価に特化して設計された包括的評価フレームワークを提案する。
このデータセットは、Verilog評価問題の集合をVHDLに翻訳し、公開されているVHDL問題を集約することにより、合計202の問題を発生させる。
生成したVHDL符号の機能的正当性を評価するために, 自己検証テストベンチのキュレートセットを利用する。
論文 参考訳(メタデータ) (2024-06-06T00:06:50Z) - A Survey on Large Language Models for Code Generation [9.555952109820392]
大規模言語モデル(LLM)は、様々なコード関連のタスクで顕著な進歩を遂げています。
本調査は、総合的かつ最新の文献レビューを提供することで、学界と実践的発展のギャップを埋めることを目的としている。
論文 参考訳(メタデータ) (2024-06-01T17:48:15Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳(メタデータ) (2024-04-08T21:15:36Z) - StepCoder: Improve Code Generation with Reinforcement Learning from
Compiler Feedback [58.20547418182074]
2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。
CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。
FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。
提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-02-02T13:14:31Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。