論文の概要: HDL-GPT: High-Quality HDL is All You Need

• arxiv url: http://arxiv.org/abs/2407.18423v1
• Date: Thu, 25 Jul 2024 22:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:49:32.079355
• Title: HDL-GPT: High-Quality HDL is All You Need
• Title（参考訳）: HDL-GPT:ハイクオリティなHDL
• Authors: Bhuvnesh Kumar, Saurav Nanda, Ganapathy Parthasarathy, Pawan Patil, Austin Tsai, Parivesh Choudhary,
• Abstract要約: 本稿では,HDL-GPT(Hardware Description Language Generative Pre-trained Transformers)を提案する。 HDL-GPTは、オープンソースのHigh Definition Language(HDL)コードの膨大なリポジトリを活用して、高品質な大規模コードモデルのトレーニングを行う、新しいアプローチである。 我々は,HDL回路の説明,コード生成,形式的およびシミュレーションテストベンチ生成,バグのトリアージ,修正といったタスクにおいて,現在のベンチマーク上でのSOTA HDLモデルに対して50%から200%の改善を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper presents Hardware Description Language Generative Pre-trained Transformers (HDL-GPT), a novel approach that leverages the vast repository of open-source High Definition Language (HDL) codes to train superior quality large code models. The core premise of this paper is the hypothesis that high-quality HDL is all you need to create models with exceptional performance and broad zero-shot generalization abilities. The paper elucidates the methods employed for the curation and augmentation of large corpora from open-source HDL code, transforming highly variable quality data into high-quality data through careful prompting and context maintenance. We demonstrate that the careful selection, filtering, and augmentation of data across HDLs can yield powerful models that surpass current state-of-the-art models. We also explore the impact of different fine-tuning methods on the quality of results. We describe experimental results across a range of fine-tuned SOTA LLMs, substantiating our claims. We demonstrate improvements of 50% to 200% over SOTA HDL models on current benchmarks in tasks ranging from HDL circuit explanations, code generation, formal and simulation testbench creation, triaging bugs, and fixing them. HDL-GPT opens new avenues for the development of advanced model training techniques for circuit design tasks.
• Abstract（参考訳）: 本稿では,HDL-GPT(Hardware Description Language Generative Pre-trained Transformers)を提案する。 本稿の中核となる前提は、高品質なHDLは、例外的な性能と広範囲なゼロショット一般化能力を持つモデルを作成するのに必要な全てである、という仮説である。 本稿では,オープンソースのHDLコードから大規模コーパスのキュレーションと増補に使用される手法を解明し,高度に可変な品質データを適切なプロンプトとコンテキストメンテナンスにより高品質なデータに変換する。 我々は、HDLにまたがるデータの慎重な選択、フィルタリング、拡張によって、現在の最先端モデルを上回る強力なモデルが得られることを実証する。 また、異なる微調整方法が結果の質に与える影響についても検討する。 細調整SOTA LLMにおける実験結果について述べるとともに,本主張を裏付ける。 我々は,HDL回路の説明,コード生成,形式的およびシミュレーションテストベンチ生成,バグのトリアージ,修正といったタスクにおいて,現在のベンチマーク上でのSOTA HDLモデルに対して50%から200%の改善を示す。 HDL-GPTは、回路設計タスクのための高度なモデルトレーニング技術を開発するための新しい道を開く。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval [80.96706764868898]
  我々は、GLARE(Generative LAtent Feature based codebook Retrieval)を介して、新しい低照度画像強調(LLIE)ネットワークを提案する。 Invertible Latent Normalizing Flow (I-LNF) モジュールを開発し、LL特徴分布をNL潜在表現に整合させ、コードブック内の正しいコード検索を保証する。 さまざまなベンチマークデータセットと実世界のデータに対するGLAREの優れたパフォーマンスを確認する実験。
  論文  参考訳（メタデータ） (2024-07-17T09:40:15Z)
• Classification-Based Automatic HDL Code Generation Using LLMs [9.630310313347657]
  大規模言語モデル(LLM)は、デジタル回路用のハードウェア記述言語(HDL)コードを生成する能力を実証している。 LLMは幻覚の問題に悩まされ、誤ったHDLコードの生成や仕様の誤解につながる。 我々は,LLMの幻覚を緩和し,HDLコード生成の性能を向上させるために,人間の専門性に着想を得た手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T09:00:13Z)
• VHDL-Eval: A Framework for Evaluating Large Language Models in VHDL Code Generation [4.700008016247411]
  本稿では,VHDLコード生成タスクの評価に特化して設計された包括的評価フレームワークを提案する。 このデータセットは、Verilog評価問題の集合をVHDLに翻訳し、公開されているVHDL問題を集約することにより、合計202の問題を発生させる。 生成したVHDL符号の機能的正当性を評価するために, 自己検証テストベンチのキュレートセットを利用する。
  論文  参考訳（メタデータ） (2024-06-06T00:06:50Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• HDLdebugger: Streamlining HDL debugging with Large Language Models [20.09481664579469]
  チップ設計の分野では、ハードウェア記述言語(HDL)が重要な役割を果たしている。 大規模言語モデル(LLM)のソフトウェアコードの生成、完成、検査における強力な能力にもかかわらず、HDLデバッグの専門分野における利用は制限されている。 本稿では, 逆エンジニアリング手法によるHDLデータ生成, 検索拡張生成のための検索エンジン, 検索拡張LDMファインチューニング手法によるHDLgerというフレームワークを提案する。 HDLgerはHuaweiから提供されたHDLコードデータセットで実施した実験により,HDLgerが13件の切断に優れていることが判明した。
  論文  参考訳（メタデータ） (2024-03-18T11:19:37Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• LLM4EDA: Emerging Progress in Large Language Models for Electronic Design Automation [74.7163199054881]
  大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。 本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。 論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
  論文  参考訳（メタデータ） (2023-12-28T15:09:14Z)
• Rethinking the Instruction Quality: LIFT is What You Need [20.829372251475476]
  既存の品質改善手法は、データセットの拡張やキュレーションを通じて命令データを変更する。 本稿では,命令品質を新たな高さに高めるために設計された新しい多目的パラダイムであるLIFT(LLM Instruction Fusion Transfer)を提案する。 実験結果から, LLMは, パラダイムによって選択された高品質な命令データが少ない場合でも, 各種タスクにおける頑健な性能を一貫して維持することを示した。
  論文  参考訳（メタデータ） (2023-12-12T03:30:21Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。