論文の概要: RTLLM: An Open-Source Benchmark for Design RTL Generation with Large Language Model

• arxiv url: http://arxiv.org/abs/2308.05345v3
• Date: Sat, 11 Nov 2023 07:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 20:50:44.335422
• Title: RTLLM: An Open-Source Benchmark for Design RTL Generation with Large Language Model
• Title（参考訳）: rtllm: 大きな言語モデルによるrtl生成のためのオープンソースベンチマーク
• Authors: Yao Lu, Shang Liu, Qijun Zhang, Zhiyao Xie
• Abstract要約: 自然言語命令による設計RTLを生成するRTLLMというオープンソースのベンチマークを提案する。 このベンチマークは、任意のLCMベースのソリューションの定量的評価を自動的に行うことができる。 また,自己計画法(セルフプランニング)という,使い易く,驚くほど効果的なプロンプトエンジニアリング手法を提案する。
• 参考スコア（独自算出の注目度）: 6.722151433412209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the recent success of large language models (LLMs) like ChatGPT, researchers start to explore the adoption of LLMs for agile hardware design, such as generating design RTL based on natural-language instructions. However, in existing works, their target designs are all relatively simple and in a small scale, and proposed by the authors themselves, making a fair comparison among different LLM solutions challenging. In addition, many prior works only focus on the design correctness, without evaluating the design qualities of generated design RTL. In this work, we propose an open-source benchmark named RTLLM, for generating design RTL with natural language instructions. To systematically evaluate the auto-generated design RTL, we summarized three progressive goals, named syntax goal, functionality goal, and design quality goal. This benchmark can automatically provide a quantitative evaluation of any given LLM-based solution. Furthermore, we propose an easy-to-use yet surprisingly effective prompt engineering technique named self-planning, which proves to significantly boost the performance of GPT-3.5 in our proposed benchmark.
• Abstract（参考訳）: ChatGPTのような最近の大規模言語モデル(LLM)の成功に触発されて、研究者は、自然言語命令に基づいた設計RTLの生成など、アジャイルハードウェア設計におけるLLMの採用を探り始めた。 しかし、既存の研究では、それらのターゲット設計はすべて比較的単純で小規模であり、著者自身によって提案されており、異なるLLMソリューション間で公正に比較することは困難である。 さらに、多くの先行作品は、生成した設計rtlの設計品質を評価することなく、設計の正確性にのみ焦点を合わせている。 本研究では,自然言語命令を用いた設計RTLを生成するRTLLMというオープンソースのベンチマークを提案する。 自動生成設計RTLを体系的に評価するために,構文目標,機能目標,設計品質目標の3つの段階目標をまとめた。 このベンチマークは、任意のLCMベースのソリューションを定量的に評価する。 さらに,提案するベンチマークにおいて,gpt-3.5の性能が大幅に向上することを示すセルフプランニングという,簡便かつ驚くほど効果的なプロンプトエンジニアリング手法を提案する。

関連論文リスト

• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• AIvril: AI-Driven RTL Generation With Verification In-The-Loop [0.7831852829409273]
  LLM(Large Language Models)は、複雑な自然言語処理タスクを実行できる計算モデルである。 本稿では,RTL対応LLMの精度と信頼性を高めるためのフレームワークであるAIvrilを紹介する。
  論文  参考訳（メタデータ） (2024-09-03T15:07:11Z)
• Rome was Not Built in a Single Step: Hierarchical Prompting for LLM-based Chip Design [22.70660876673987]
  大言語モデル(LLM)は、ハードウェア記述言語(HDL)生成によるコンピュータハードウェア合成に有効である。 しかし、複雑なタスクを扱う場合のHDL生成にLLMが支援するアプローチは難しかった。 本稿では,効率的なステップワイズ設計手法を実現する階層的プロンプト手法について紹介する。
  論文  参考訳（メタデータ） (2024-07-23T21:18:31Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• RTL-Repo: A Benchmark for Evaluating LLMs on Large-Scale RTL Design Projects [0.02630859234884723]
  大きな言語モデル (LLM) はレジスタ転送レベル (RTL) の設計タスクを支援する可能性を実証している。 実際のRTLプロジェクトの複雑さを正確に反映したベンチマークには、大きなギャップがある。 本稿では,大規模RTL設計プロジェクトにおけるLCM評価のためのベンチマークRTL-Repoを提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:36:01Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• ISR-LLM: Iterative Self-Refined Large Language Model for Long-Horizon Sequential Task Planning [7.701407633867452]
  大規模言語モデル(LLM)は、タスクに依存しないプランナとして一般化性を高める可能性を提供する。 ISR-LLMは,反復的な自己複製プロセスを通じてLCMに基づく計画を改善する新しいフレームワークである。 ISR-LLM は現状の LLM ベースのプランナに比べてタスク達成率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-08-26T01:31:35Z)
• ChipGPT: How far are we from natural language hardware design [34.22592995908168]
  この研究は、自然言語仕様からハードウェアロジック設計を生成するLLMを探索する自動設計環境の実証を試みる。 LLMをベースとしたスケーラブルな4段階ゼロコード論理設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T12:54:02Z)
• Low-code LLM: Graphical User Interface over Large Language Models [115.08718239772107]
  本稿では,人間-LLMインタラクションフレームワークであるLow-code LLMを紹介する。 より制御可能で安定した応答を実現するために、6種類のシンプルなローコードビジュアルプログラミングインタラクションを組み込んでいる。 ユーザフレンドリなインタラクション,制御可能な生成,広い適用性という,低コード LLM の3つの利点を強調した。
  論文  参考訳（メタデータ） (2023-04-17T09:27:40Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。