論文の概要: RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction

• arxiv url: http://arxiv.org/abs/2503.21971v2
• Date: Tue, 29 Apr 2025 00:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 20:17:25.712103
• Title: RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction
• Title（参考訳）: RocketPPA: Code-Level Abstractionにおける超高速LCMベースのPPA推定器
• Authors: Armin Abdollahi, Mehdi Kamal, Massoud Pedram,
• Abstract要約: 完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用する新しいフレームワークを導入する。 我々は、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。
• 参考スコア（独自算出の注目度）: 4.825037489691159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have recently transformed hardware design, yet bridging the gap between code synthesis and PPA (power, performance, and area) estimation remains a challenge. In this work, we introduce a novel framework that leverages a 21k dataset of thoroughly cleaned and synthesizable Verilog modules, each annotated with detailed power, delay, and area metrics. By employing chain-of-thought techniques, we automatically debug and curate this dataset to ensure high fidelity in downstream applications. We then fine-tune CodeLlama using LoRA-based parameter-efficient methods, framing the task as a regression problem to accurately predict PPA metrics from Verilog code. Furthermore, we augment our approach with a mixture-of-experts architecture-integrating both LoRA and an additional MLP expert layer-to further refine predictions. Experimental results demonstrate significant improvements: power estimation accuracy is enhanced by 5.9% at a 20% error threshold and by 7.2% at a 10% threshold, delay estimation improves by 5.1% and 3.9%, and area estimation sees gains of 4% and 7.9% for the 20% and 10% thresholds, respectively. Notably, the incorporation of the mixture-of-experts module contributes an additional 3--4% improvement across these tasks. Our results establish a new benchmark for PPA-aware Verilog generation, highlighting the effectiveness of our integrated dataset and modeling strategies for next-generation EDA workflows.
• Abstract（参考訳）: 大規模言語モデルは近年、ハードウェア設計を変革しているが、コード合成とPPA(パワー、パフォーマンス、領域)の推定のギャップを埋めることは依然として課題である。 本研究では, 完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用し, それぞれに詳細なパワー, 遅延, 面積の指標を付加した新しいフレームワークを提案する。 チェーンオブ思考技術を用いることで、このデータセットを自動でデバッグし、キュレートし、下流アプリケーションで高い忠実性を保証する。 次に、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。 さらに我々は,LORAと追加のMDP専門家層を統合して,より洗練された予測を行うことで,我々のアプローチをさらに強化する。 電力推定精度は20%エラー閾値で5.9%、10%しきい値で7.2%向上し、遅延推定は5.1%と3.9%改善し、面積推定は20%しきい値で4%、10%しきい値で7.9%向上した。 特に、Mix-of-expertsモジュールが組み込まれたことで、これらのタスク間でさらに3～4%の改善が期待できる。 PPA対応のVerilog生成のための新しいベンチマークを構築し、次世代EDAワークフローにおける統合データセットとモデリング戦略の有効性を強調した。

関連論文リスト

• GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization [0.4037357056611557]
  大規模言語モデル(LLM)は、その潜在空間における複雑な関係を符号化することができる。 LLMベースのディープカーネルを導入し、GPと共同で最適化し、両方の利点を維持する。 提案手法は, 静的LLM埋め込みと比較して, 高効率反応の発見率をほぼ2倍に向上させる。
  論文  参考訳（メタデータ） (2025-04-08T17:59:57Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• Streaming Looking Ahead with Token-level Self-reward [50.699168440048716]
  本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
  論文  参考訳（メタデータ） (2025-02-24T22:35:53Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。