論文の概要: MeltRTL: Multi-Expert LLMs with Inference-time Intervention for RTL Code Generation
- arxiv url: http://arxiv.org/abs/2601.13015v1
- Date: Mon, 19 Jan 2026 12:49:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.902105
- Title: MeltRTL: Multi-Expert LLMs with Inference-time Intervention for RTL Code Generation
- Title(参考訳): MeltRTL:RTLコード生成のための推論時間干渉を用いたマルチエキスパートLCM
- Authors: Nowfel Mashnoor, Mohammad Akyash, Hadi Kamali, Kimia Azar,
- Abstract要約: MeltRTLは、マルチエキスパートの注意と推論時間の介入を統合する新しいフレームワークである。
MeltRTLは、ベースモデルを再トレーニングすることなく、大きな言語モデル(LLM)の精度を大幅に改善する。
We evaluate MeltRTL on the VerilogEval benchmark, achieve 96% synthesizability and 60% functional correctness。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The automated generation of hardware register-transfer level (RTL) code with large language models (LLMs) shows promise, yet current solutions struggle to produce syntactically and functionally correct code for complex digital designs. This paper introduces MeltRTL, a novel framework that integrates multi-expert attention with inference-time intervention (ITI) to significantly improve LLM-based RTL code generation accuracy without retraining the base model. MeltRTL introduces three key innovations: (1) A multi-expert attention architecture that dynamically routes design specifications to specialized expert networks, enabling targeted reasoning across various hardware categories; (2) An inference-time intervention mechanism that employs non-linear probes to detect and correct hardware-specific inaccuracies during generation; and (3) An efficient intervention framework that selectively operates on expert-specific attention heads with minimal computational overhead. We evaluate MeltRTL on the VerilogEval benchmark, achieving 96% synthesizability and 60% functional correctness, compared to the base LLM's 85.3% and 45.3%, respectively. These improvements are obtained entirely at inference time, with only 27% computational overhead and no model fine-tuning, making MeltRTL immediately deployable on existing pre-trained LLMs. Ablation studies further show the complementary benefits of multi-expert architecture and ITI, highlighting their synergistic effects when combined.
- Abstract(参考訳): 大規模言語モデル(LLM)を用いたRTLコードの自動生成は、将来性を示しているが、現在のソリューションでは、複雑なデジタル設計のための構文的かつ機能的に正しいコードを生成するのに苦労している。
本稿では,マルチエキスパートの注意と推論時間介入(ITI)を統合した新しいフレームワークであるMeltRTLを紹介し,LLMベースのRTLコード生成精度を大幅に向上させる。
MeltRTLは,設計仕様を専門的ネットワークに動的にルーティングし,様々なハードウェアカテゴリを対象とする推論を可能にするマルチエキスパート・アテンションアーキテクチャ,生成中のハードウェア固有の不正確性を検出し,修正するための非線形プローブを用いた推論時間介入機構,そして,最適化オーバーヘッドを最小限に抑えた専門家特有のアテンションヘッドを選択的に運用する効率的な介入フレームワーク,の3点を導入している。
We evaluate MeltRTL on the VerilogEval benchmark, achieve 96% synthesizability and 60% functional correctness, with the base LLM's 85.3% and 45.3%。
これらの改善は完全に推論時に得られ、計算オーバーヘッドは27%に過ぎず、モデル微調整も行わないため、MeltRTLは既存の訓練済みのLLMに即座にデプロイできる。
アブレーション研究は、マルチエキスパートアーキテクチャとITIの相補的な利点をさらに示し、組み合わせた場合の相乗効果を強調している。
関連論文リスト
- Run, Ruminate, and Regulate: A Dual-process Thinking System for Vision-and-Language Navigation [52.11339614452127]
VLN(Vision-and-Language Navigation)は、エージェントが人間の指示に従って複雑な3D環境を動的に探索する必要がある。
近年の研究では、一般的な知識と一般的な推論能力から、大きな言語モデル(LLM)をVLNに活用する可能性を強調している。
本稿では、LLMの一般化機能とVLN固有の専門知識をゼロショットで統合する、R3と呼ばれる新しいデュアルプロセス思考フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-18T04:32:00Z) - VerlTool: Towards Holistic Agentic Reinforcement Learning with Tool Use [78.29315418819074]
VerlToolは、体系的な設計原則を通じて制限に対処する統一的でモジュール化されたフレームワークです。
我々のフレームワークはARLTをマルチターントラジェクトリとして定式化し、マルチモード観測トークン(テキスト/画像/ビデオ)を単一ターンRLVRパラダイムを超えて拡張する。
モジュール化されたプラグインアーキテクチャは、軽量Python定義のみを必要とする迅速なツール統合を可能にする。
論文 参考訳(メタデータ) (2025-09-01T01:45:18Z) - VeriOpt: PPA-Aware High-Quality Verilog Generation via Multi-Role LLMs [41.94295877935867]
VeriOptは、ロールベースのプロンプトとPPA対応最適化を利用して、高品質で合成可能なVerilogを生成する新しいフレームワークである。
私たちの研究は、正しさと品質の重大なギャップに対処することで、最先端のAI駆動型ハードウェア設計を前進させます。
論文 参考訳(メタデータ) (2025-07-20T00:28:55Z) - R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。
10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2025-04-28T03:30:32Z) - TuRTLe: A Unified Evaluation of LLMs for RTL Generation [0.6010802600885173]
本研究では,主要なRTL生成タスク間でLLMを評価するための統合評価フレームワークTuRTLeを提案する。
オープンLLMの多様なセットをベンチマークし、EDA固有のタスクの長所と短所を分析します。
以上の結果から,DeepSeek R1のような推論モデルの方が,複数の評価基準で常に優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-03-31T07:43:12Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳(メタデータ) (2024-12-29T06:32:36Z) - Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。
本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。
我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-11-27T18:04:05Z) - AIvril: AI-Driven RTL Generation With Verification In-The-Loop [0.7831852829409273]
LLM(Large Language Models)は、複雑な自然言語処理タスクを実行できる計算モデルである。
本稿では,RTL対応LLMの精度と信頼性を高めるためのフレームワークであるAIvrilを紹介する。
論文 参考訳(メタデータ) (2024-09-03T15:07:11Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-08-15T16:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。