論文の概要: RTL-Repo: A Benchmark for Evaluating LLMs on Large-Scale RTL Design Projects

• arxiv url: http://arxiv.org/abs/2405.17378v1
• Date: Mon, 27 May 2024 17:36:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:14:13.168934
• Title: RTL-Repo: A Benchmark for Evaluating LLMs on Large-Scale RTL Design Projects
• Title（参考訳）: RTL-Repo:大規模RTL設計プロジェクトにおけるLCMの評価ベンチマーク
• Authors: Ahmed Allam, Mohamed Shalan,
• Abstract要約: 大きな言語モデル (LLM) はレジスタ転送レベル (RTL) の設計タスクを支援する可能性を実証している。 実際のRTLプロジェクトの複雑さを正確に反映したベンチマークには、大きなギャップがある。 本稿では,大規模RTL設計プロジェクトにおけるLCM評価のためのベンチマークRTL-Repoを提案する。
• 参考スコア（独自算出の注目度）: 0.02630859234884723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated potential in assisting with Register Transfer Level (RTL) design tasks. Nevertheless, there remains to be a significant gap in benchmarks that accurately reflect the complexity of real-world RTL projects. To address this, this paper presents RTL-Repo, a benchmark specifically designed to evaluate LLMs on large-scale RTL design projects. RTL-Repo includes a comprehensive dataset of more than 4000 Verilog code samples extracted from public GitHub repositories, with each sample providing the full context of the corresponding repository. We evaluate several state-of-the-art models on the RTL-Repo benchmark, including GPT-4, GPT-3.5, Starcoder2, alongside Verilog-specific models like VeriGen and RTLCoder, and compare their performance in generating Verilog code for complex projects. The RTL-Repo benchmark provides a valuable resource for the hardware design community to assess and compare LLMs' performance in real-world RTL design scenarios and train LLMs specifically for Verilog code generation in complex, multi-file RTL projects. RTL-Repo is open-source and publicly available on Github.
• Abstract（参考訳）: 大きな言語モデル (LLM) はレジスタ転送レベル (RTL) の設計タスクを支援する可能性を実証している。 それでも、実際のRTLプロジェクトの複雑さを正確に反映したベンチマークには、大きなギャップがある。 そこで本稿では,大規模RTL設計プロジェクトにおけるLCMの評価を目的としたベンチマークであるRTL-Repoを提案する。 RTL-Repoには、パブリックGitHubリポジトリから抽出された4000以上のVerilogコードサンプルの包括的なデータセットが含まれており、各サンプルは対応するリポジトリの完全なコンテキストを提供する。 GPT-4, GPT-3.5, Starcoder2, VeriGen や RTLCoder といったVerilog 固有のモデルと合わせて, RTL-Repo ベンチマークの最先端モデルを評価し, 複雑なプロジェクトに対して Verilog コードを生成する際の性能を比較した。 RTL-Repoベンチマークは、ハードウェア設計コミュニティにとって、実世界のRTL設計シナリオにおけるLLMのパフォーマンスを評価し比較し、複雑なマルチファイルRTLプロジェクトにおけるVerilogコード生成に特化したLLMをトレーニングするための貴重なリソースを提供する。 RTL-RepoはオープンソースでGithubで公開されている。

関連論文リスト

• OriGen:Enhancing RTL Code Generation with Code-to-Code Augmentation and Self-Reflection [54.775409528658486]
  OriGenは、セルフリフレクション機能と新しいデータセット拡張方法論を組み込んだ、完全なオープンソースフレームワークである。 このアプローチでは,オープンソースのRTLコードデータセットの品質向上のために,コード-コード拡張技術を採用している。
  論文  参考訳（メタデータ） (2024-07-23T07:22:25Z)
• CodeV: Empowering LLMs for Verilog Generation through Multi-Level Summarization [37.4446786461791]
  本稿では,オープンソースの命令調整型Verilog生成用LLMであるCodeVを紹介する。 CodeVは以前のオープンソースSOTAを14.4%(VerilogEvalのBetterV)と11.3%(RTLCoder in RTLLM)で相対的に上回っている。
  論文  参考訳（メタデータ） (2024-07-15T03:57:20Z)
• ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation [9.409062607311528]
  大規模言語モデル(LLM)は、人間の命令を理解し、コードを生成するのに優れた性能を示した。 我々は,ITERTLという,シンプルながら効果的な反復訓練パラダイムを導入する。 提案手法によってトレーニングされたモデルは、最先端のオープンソースモデル(SOTA)と競合し、さらに優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-28T01:44:57Z)
• MEIC: Re-thinking RTL Debug Automation using LLMs [18.964523115622928]
  本研究は,新しいフレームワーク,Make each Iteration Count(MEIC)を紹介する。 MEICは、構文と関数のエラーを識別し、修正するのに適している。 フレームワークを評価するため、178の共通RTLプログラミングエラーからなるオープンソースデータセットを提供する。
  論文  参考訳（メタデータ） (2024-05-10T22:32:39Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• RTLLM: An Open-Source Benchmark for Design RTL Generation with Large Language Model [6.722151433412209]
  自然言語命令による設計RTLを生成するRTLLMというオープンソースのベンチマークを提案する。 このベンチマークは、任意のLCMベースのソリューションの定量的評価を自動的に行うことができる。 また,自己計画法(セルフプランニング)という,使い易く,驚くほど効果的なプロンプトエンジニアリング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-10T05:24:41Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)
• Benchmarking Large Language Models for Automated Verilog RTL Code Generation [21.747037230069854]
  有用なVerilogを生成するために,大規模言語モデル(LLM)を特徴付ける。 機能解析のためのテストベンチと,Verilogコードの構文をテストするフローからなる評価フレームワークを構築した。 その結果,LLMの微調整結果は,構文的に正しいコードを生成する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-13T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。