論文の概要: Hybrid-NL2SVA: Integrating RAG and Finetuning for LLM-based NL2SVA

• arxiv url: http://arxiv.org/abs/2506.21569v1
• Date: Thu, 12 Jun 2025 17:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-07 02:47:44.280857
• Title: Hybrid-NL2SVA: Integrating RAG and Finetuning for LLM-based NL2SVA
• Title（参考訳）: ハイブリッドNL2SVA:LLMによるNL2SVAのRAGと微細化
• Authors: Weihua Xiao, Derek Ekberg, Siddharth Garg, Ramesh Karri,
• Abstract要約: SystemVerilog Assertions (SVAs) はハードウェア設計の正しさを検証するために重要である。 大規模言語モデル(LLM)の最近の進歩は、この翻訳を自動化する機会を提供する。 本稿では,RAGフレームワークと合成微調整データセットを提案する。
• 参考スコア（独自算出の注目度）: 18.491764850064616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: SystemVerilog Assertions (SVAs) are critical for verifying the correctness of hardware designs, but manually writing them from natural language property descriptions, i.e., NL2SVA, remains a labor-intensive and error-prone task. Recent advances in large language models (LLMs) offer opportunities to automate this translation. However, existing models still struggle with understanding domain-specific syntax and semantics. To enhance LLM performance in NL2SVA, we propose a customized retrieval-augmented generation (RAG) framework and a synthetic fine-tuning dataset that together improve LLM's performance. To further improve lightweight models over NL2SVA, our fine-tuning dataset provides prompt-guided explanations that teach LLMs the layer-by-layer construction process of concurrent SVAs, enabling supervised fine-tuning that greatly improves syntax and functionality accuracy. To evaluate the performance of LLMs over NL2SVA, we construct the largest evaluation dataset for NL2SVA, comprising 40 Verilog designs and 229 formally verified SVAs with detailed annotations. Experimental results show that our customized RAG framework increases the number of functionality matched SVAs by 58.42% over GPT-4o-mini, while Qwen2.5-Coder-7B-Instruct fine-tuned on our fine-tuning dataset and integrated with HybridRetrieval achieves a 59.05% over the base Qwen model.
• Abstract（参考訳）: SystemVerilog Assertions (SVAs) はハードウェア設計の正しさを検証するために重要であるが、NL2SVAという自然言語のプロパティ記述から手作業で記述することは、労働集約的でエラーを起こしやすいタスクである。 大規模言語モデル(LLM)の最近の進歩は、この翻訳を自動化する機会を提供する。 しかし、既存のモデルはドメイン固有の構文とセマンティクスを理解するのに苦戦している。 NL2SVAにおけるLLM性能を向上させるため,LLMの性能向上を目的としたRAGフレームワークと合成微調整データセットを提案する。 NL2SVAよりも軽量なモデルをさらに改善するため、我々の微調整データセットは、LLMに並列SVAの層間構築プロセスを教えるためのプロンプトガイド付き説明を提供し、構文と機能の精度を大幅に向上させる教師付き微調整を可能にする。 NL2SVA上でのLCMの性能を評価するため,40のVerilog設計と229のSVAを詳細なアノテーションで検証し,NL2SVAの最大の評価データセットを構築した。 実験結果から、カスタマイズされたRAGフレームワークは、GPT-4o-miniよりも58.42%、Qwen2.5-Coder-7B-Instructの微調整データセットを微調整し、HybridRetrievalと統合することで、ベースQwenモデル上で59.05%を実現していることがわかった。

関連論文リスト

• GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models [44.82179903133343]
  GLOVは、大型言語モデル(LLM)が視覚言語モデル(VLM)の暗黙エンコーダとして機能することを可能にする。 GLOVは、オブジェクト認識のためのデュアルエンコーダ(CLIP)とVLデコーダ(LlaVA)モデルに対して、最大15.0%と57.5%の性能向上を示す。
  論文  参考訳（メタデータ） (2024-10-08T15:55:40Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Enhancing and Assessing Instruction-Following with Fine-Grained Instruction Variants [28.691691883519542]
  複雑な命令を単純なサブコンポーネントに分解し、それらを修正し、それらを新しい変種に再構成する手法を導入する。 DeMoReconに基づくFGIVデータセットは,1,773個のシード命令の微粒化を含む。 以上の結果から,FGIVを微調整したLDMは,命令追従ベンチマークと一般的な命令追従ベンチマークの両方において,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T08:08:11Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• COCO is "ALL'' You Need for Visual Instruction Fine-tuning [39.438410070172125]
  ビジュアルインストラクション微調整(IFT)は、MLLMの出力をユーザの意図に合わせるための重要なプロセスである。 近年,多面的アプローチによる視覚的IFTデータセットの構築が提案されている。 我々は新しいIFTデータセットを構築し、COCOデータセットからの画像と、より多様な指示を得られるようにした。
  論文  参考訳（メタデータ） (2024-01-17T04:43:45Z)
• What Makes for Good Visual Instructions? Synthesizing Complex Visual Reasoning Instructions for Visual Instruction Tuning [111.01953096869947]
  マルチモーダル大言語モデル(MLLM)のゼロショット一般化能力向上に視覚的指導チューニングが不可欠である 我々は,高品質な視覚的推論命令を自動生成する体系的手法を開発した。 実験結果から, MLLMの強化性能が一貫した結果を得た。
  論文  参考訳（メタデータ） (2023-11-02T15:36:12Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。