論文の概要: RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction

• arxiv url: http://arxiv.org/abs/2503.21971v1
• Date: Thu, 27 Mar 2025 20:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 19:09:59.483398
• Title: RocketPPA: Ultra-Fast LLM-Based PPA Estimator at Code-Level Abstraction
• Title（参考訳）: RocketPPA: Code-Level Abstractionにおける超高速LCMベースのPPA推定器
• Authors: Armin Abdollahi, Mehdi Kamal, Massoud Pedram,
• Abstract要約: 完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用する新しいフレームワークを導入する。 我々は、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。
• 参考スコア（独自算出の注目度）: 4.825037489691159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have recently transformed hardware design, yet bridging the gap between code synthesis and PPA (power, performance, and area) estimation remains a challenge. In this work, we introduce a novel framework that leverages a 21k dataset of thoroughly cleaned and synthesizable Verilog modules, each annotated with detailed power, delay, and area metrics. By employing chain-of-thought techniques, we automatically debug and curate this dataset to ensure high fidelity in downstream applications. We then fine-tune CodeLlama using LoRA-based parameter-efficient methods, framing the task as a regression problem to accurately predict PPA metrics from Verilog code. Furthermore, we augment our approach with a mixture-of-experts architecture-integrating both LoRA and an additional MLP expert layer-to further refine predictions. Experimental results demonstrate significant improvements: power estimation accuracy is enhanced by 5.9% at a 20% error threshold and by 7.2% at a 10% threshold, delay estimation improves by 5.1% and 3.9%, and area estimation sees gains of 4% and 7.9% for the 20% and 10% thresholds, respectively. Notably, the incorporation of the mixture-of-experts module contributes an additional 3--4% improvement across these tasks. Our results establish a new benchmark for PPA-aware Verilog generation, highlighting the effectiveness of our integrated dataset and modeling strategies for next-generation EDA workflows.
• Abstract（参考訳）: 大規模言語モデルは近年、ハードウェア設計を変革しているが、コード合成とPPA(パワー、パフォーマンス、領域)の推定のギャップを埋めることは依然として課題である。 本研究では, 完全クリーン化および合成可能なVerilogモジュールの21kデータセットを活用し, それぞれに詳細なパワー, 遅延, 面積の指標を付加した新しいフレームワークを提案する。 チェーンオブ思考技術を用いることで、このデータセットを自動でデバッグし、キュレートし、下流アプリケーションで高い忠実性を保証する。 次に、LoRAに基づくパラメータ効率の手法を用いてCodeLlamaを微調整し、タスクを回帰問題としてフレーミングし、VerilogコードからPPAメトリクスを正確に予測する。 さらに我々は,LORAと追加のMDP専門家層を統合して,より洗練された予測を行うことで,我々のアプローチをさらに強化する。 電力推定精度は20%エラー閾値で5.9%、10%しきい値で7.2%向上し、遅延推定は5.1%と3.9%改善し、面積推定は20%しきい値で4%、10%しきい値で7.9%向上した。 特に、Mix-of-expertsモジュールが組み込まれたことで、これらのタスク間でさらに3～4%の改善が期待できる。 PPA対応のVerilog生成のための新しいベンチマークを構築し、次世代EDAワークフローにおける統合データセットとモデリング戦略の有効性を強調した。

関連論文リスト

• VeriOpt: PPA-Aware High-Quality Verilog Generation via Multi-Role LLMs [41.94295877935867]
  VeriOptは、ロールベースのプロンプトとPPA対応最適化を利用して、高品質で合成可能なVerilogを生成する新しいフレームワークである。 私たちの研究は、正しさと品質の重大なギャップに対処することで、最先端のAI駆動型ハードウェア設計を前進させます。
  論文  参考訳（メタデータ） (2025-07-20T00:28:55Z)
• The carbon cost of materials discovery: Can machine learning really accelerate the discovery of new photovoltaics? [0.05524804393257919]
  高速太陽光発電 (PV) 材料の発見において, 計算スクリーニングは実験の強力な補完となる。 ほとんどの場合、太陽エネルギー変換に関連する電子的および光学的性質を推定するために密度汎関数理論(DFT)に依存する。 マシンラーニング(ML)モデルは先日,DFTのサロゲートとして注目され,リソース使用の大幅な削減と,競争力のある予測パフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-07-17T15:55:02Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization [0.4037357056611557]
  大規模言語モデル(LLM)は、その潜在空間における複雑な関係を符号化することができる。 LLMベースのディープカーネルを導入し、GPと共同で最適化し、両方の利点を維持する。 提案手法は, 静的LLM埋め込みと比較して, 高効率反応の発見率をほぼ2倍に向上させる。
  論文  参考訳（メタデータ） (2025-04-08T17:59:57Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• Streaming Looking Ahead with Token-level Self-reward [50.699168440048716]
  本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
  論文  参考訳（メタデータ） (2025-02-24T22:35:53Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• LLM Performance Predictors are good initializers for Architecture Search [28.251129134057035]
  我々は、下流タスクにおける特定のディープニューラルネットワークアーキテクチャの性能を推定するパフォーマンス予測器(PP)を構築した。 機械翻訳 (MT) タスクでは, PPプロンプト (LLM-PP) を用いた GPT-4 は SoTA 平均絶対誤差と, ベースライン予測器と比較してランク相関係数がわずかに低下する。 ニューラルネットワーク探索 (NAS) では, LLM-Distill-PP を用いたハイブリッド探索アルゴリズム (HS-NAS) を導入する。
  論文  参考訳（メタデータ） (2023-10-25T15:34:30Z)
• Exploring the impact of low-rank adaptation on the performance, efficiency, and regularization of RLHF [47.960563851948514]
  低ランク適応(LoRA)を用いたRLHFの効率的な実装について検討する。 本実装は,フルモデル微調整によるAlpacaFarmチェックポイントよりも優れた性能を実現する。 我々は、より効率的なRLHFの研究を促進するために、コードと事前訓練されたチェックポイントをリリースする。
  論文  参考訳（メタデータ） (2023-09-16T17:31:36Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。