論文の概要: MEIC: Re-thinking RTL Debug Automation using LLMs

• arxiv url: http://arxiv.org/abs/2405.06840v1
• Date: Fri, 10 May 2024 22:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 19:55:18.160777
• Title: MEIC: Re-thinking RTL Debug Automation using LLMs
• Title（参考訳）: MEIC: LLMを用いたRTLデバッグ自動化の再考
• Authors: Ke Xu, Jialin Sun, Yuchen Hu, Xinwei Fang, Weiwei Shan, Xi Wang, Zhe Jiang,
• Abstract要約: 本研究は,新しいフレームワーク,Make each Iteration Count(MEIC)を紹介する。 MEICは、構文と関数のエラーを識別し、修正するのに適している。 フレームワークを評価するため、178の共通RTLプログラミングエラーからなるオープンソースデータセットを提供する。
• 参考スコア（独自算出の注目度）: 18.964523115622928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The deployment of Large Language Models (LLMs) for code debugging (e.g., C and Python) is widespread, benefiting from their ability to understand and interpret intricate concepts. However, in the semiconductor industry, utilising LLMs to debug Register Transfer Level (RTL) code is still insufficient, largely due to the underrepresentation of RTL-specific data in training sets. This work introduces a novel framework, Make Each Iteration Count (MEIC), which contrasts with traditional one-shot LLM-based debugging methods that heavily rely on prompt engineering, model tuning, and model training. MEIC utilises LLMs in an iterative process to overcome the limitation of LLMs in RTL code debugging, which is suitable for identifying and correcting both syntax and function errors, while effectively managing the uncertainties inherent in LLM operations. To evaluate our framework, we provide an open-source dataset comprising 178 common RTL programming errors. The experimental results demonstrate that the proposed debugging framework achieves fix rate of 93% for syntax errors and 78% for function errors, with up to 48x speedup in debugging processes when compared with experienced engineers. The Repo. of dataset and code: https://anonymous.4open.science/r/Verilog-Auto-Debug-6E7F/.
• Abstract（参考訳）: コードデバッグ(例えば、CとPython)のためのLLM(Large Language Models)のデプロイは、複雑な概念を理解し解釈する能力から恩恵を受けています。 しかし、半導体業界では、RTL(Regession Transfer Level)コードのデバッグにLLMを利用することは、トレーニングセットにおけるRTL固有のデータの不足のため、依然として不十分である。 この研究は、新しいフレームワークであるMake each Iteration Count (MEIC)を導入し、プロンプトエンジニアリング、モデルチューニング、モデルトレーニングに大きく依存する従来の一発のLLMベースのデバッグ手法とは対照的である。 MEICは、RTLコードデバッグにおけるLLMの制限を克服するために反復的なプロセスでLLMを利用し、LLM操作に固有の不確実性を効果的に管理し、構文と関数のエラーを識別および修正するのに適している。 フレームワークを評価するため、178の共通RTLプログラミングエラーからなるオープンソースデータセットを提供する。 実験の結果,提案したデバッグフレームワークは,構文エラーの93%,関数エラーの78%,デバッグプロセスの48倍の高速化を実現している。 リポジトリ。 https://anonymous.4open.science/r/Verilog-Auto-Debug-6E7F/

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• TRANSAGENT: An LLM-Based Multi-Agent System for Code Translation [16.46292795782835]
  コード翻訳は、ソフトウェアマイグレーション、システムアブレーション、クロスプラットフォーム開発に不可欠である。 従来のルールベースのメソッドは手書きのルールに依存している。 最近では、LLM(Large Language Models)の進歩により、学習ベースのコード翻訳がさらに強化されている。 本稿では,構文誤りや意味的誤りを解消し,LLMに基づくコード翻訳を強化した新しいマルチエージェントシステムTransagENTを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:53:03Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Aligning LLMs for FL-free Program Repair [14.935596175148586]
  本稿では,大規模言語モデル (LLM) をプログラム修復に適用するための新しいアプローチについて検討する。 我々の中核的な洞察は、LLMのAPR能力は、単にトレーニング目標に出力を合わせるだけで大幅に改善できるということです。 この知見に基づいて、我々はAPRの直接的なプロンプトフレームワークであるD4Cを設計した。
  論文  参考訳（メタデータ） (2024-04-13T02:36:40Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Evaluating Diverse Large Language Models for Automatic and General Bug Reproduction [12.851941377433285]
  大規模言語モデル(LLM)は自然言語処理やコード生成に適していることが証明されている。 提案手法は,広く使用されているDefects4Jベンチマークにおいて,全バグの約3分の1を再現することができた。
  論文  参考訳（メタデータ） (2023-11-08T08:42:30Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Benchmarking Large Language Models for Automated Verilog RTL Code Generation [21.747037230069854]
  有用なVerilogを生成するために,大規模言語モデル(LLM)を特徴付ける。 機能解析のためのテストベンチと,Verilogコードの構文をテストするフローからなる評価フレームワークを構築した。 その結果,LLMの微調整結果は,構文的に正しいコードを生成する能力が高いことがわかった。
  論文  参考訳（メタデータ） (2022-12-13T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。