論文の概要: RocketPPA: Code-Level Power, Performance, and Area Prediction via LLM and Mixture of Experts

• arxiv url: http://arxiv.org/abs/2503.21971v3
• Date: Tue, 10 Jun 2025 22:20:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.654573
• Title: RocketPPA: Code-Level Power, Performance, and Area Prediction via LLM and Mixture of Experts
• Title（参考訳）: RocketPPA: LLMとエキスパートの混在によるコードレベルパワー,パフォーマンス,領域予測
• Authors: Armin Abdollahi, Mehdi Kamal, Massoud Pedram,
• Abstract要約: 本稿では,新しい超高速パワー,性能(遅延),面積(PPA)推定器であるRocketPPAについて述べる。 HDLコードを入力として使用して、コードレベルの抽象化を直接実行します。 従来の最先端手法に比べてPPA推定精度が大幅に向上した。
• 参考スコア（独自算出の注目度）: 4.825037489691159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents RocketPPA, a novel ultra-fast power, performance (delay), and area (PPA) estimator operating directly at the code-level abstraction using HDL code as input. The key technical innovation is its LLM-based regression model, which uniquely integrates a large language model (LLM) with a mixture-of-experts (MoE) architecture composed of multilayer perceptrons (MLPs). The LLM interprets the input HDL code and then utilizes its final hidden-layer representations to predict PPA metrics. Low-rank adaptation (LoRA) is used for parameter-efficient fine-tuning to enable efficient LLM training. Furthermore, the work includes the development of an LLM-based HDL code repair framework to generate a large and synthesizable training dataset. Experimental results on the VerilogEval benchmark demonstrate that RocketPPA achieves significant improvements in the accuracy of PPA estimation compared to previous state-of-the-art methods like Llama3-MetRex-8B. Specifically, at a 10% relative error threshold, RocketPPA enhances the pass rate for area prediction by 13.6%, delay by 9.4%, and power by 14.7%. At a 20% threshold, the improvements are 9.6% for area, 10.8% for delay, and 18.5% for power. Moreover, RocketPPA achieves a speedup of over 20x compared to MetRex and 30x over MasterRTL in processing the test set. The impact of RocketPPA is the potential to substantially accelerate the hardware design process by providing accurate PPA estimations early in the design cycle, thus avoiding the overhead of manual feature engineering and time-consuming synthesis flows.
• Abstract（参考訳）: 本稿では,HDLコードを入力としてコードレベルの抽象化を直接操作する,新しい高速パワー,性能(遅延),面積(PPA)推定器であるRocketPPAを提案する。 LLMベースの回帰モデルでは、大きな言語モデル(LLM)と多層パーセプトロン(MLP)で構成されるME(Mix-of-experts)アーキテクチャを一意に統合する。 LLMは入力されたHDLコードを解釈し、最後に隠された層表現を使用してPPAメトリクスを予測する。 低ランク適応(LoRA)はパラメータ効率のよい微調整に使われ、効率的なLCM訓練を可能にする。 さらに、LLMベースのHDLコード修復フレームワークを開発し、大規模で合成可能なトレーニングデータセットを生成する。 VerilogEvalベンチマークの実験結果は、RocketPPAが従来のLlama3-MetRex-8Bのような最先端の手法と比較して、PPA推定の精度を大幅に向上したことを示している。 具体的には、相対誤差閾値の10%で、RocketPPAは領域予測のパスレートを13.6%、遅延を9.4%、電力を14.7%向上させる。 20%の閾値では、改善は面積が9.6%、遅延が10.8%、電力が18.5%である。 さらに、RocketPPAはテストセットの処理において、MetRexとMasterRTLの30倍のスピードアップを達成する。 RocketPPAの影響は、設計サイクルの早い段階で正確なPPA推定を提供することで、ハードウェア設計プロセスを大幅に加速する可能性があるため、手動の特徴工学と時間を要する合成フローのオーバーヘッドを回避することができる。

関連論文リスト

• GOLLuM: Gaussian Process Optimized LLMs -- Reframing LLM Finetuning through Bayesian Optimization [0.4037357056611557]
  大規模言語モデル(LLM)は、その潜在空間における複雑な関係を符号化することができる。 LLMベースのディープカーネルを導入し、GPと共同で最適化し、両方の利点を維持する。 提案手法は, 静的LLM埋め込みと比較して, 高効率反応の発見率をほぼ2倍に向上させる。
  論文  参考訳（メタデータ） (2025-04-08T17:59:57Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• Streaming Looking Ahead with Token-level Self-reward [50.699168440048716]
  本稿では,トークンレベルの自己回帰モデリング(TRM)機能を備えたポリシーモデルを提案する。 さらに,検索効率を向上し,並列化を向上するストリーミング・ルック・アヘッド (SLA) アルゴリズムを提案する。 SLAとDPOなどの強化微調整技術を組み合わせると、全体の勝利率は89.4%となる。
  論文  参考訳（メタデータ） (2025-02-24T22:35:53Z)
• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
  Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。 本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-28T17:16:03Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Stochastic Re-weighted Gradient Descent via Distributionally Robust Optimization [14.23697277904244]
  Reweighted Gradient Descent (RGD) は、動的サンプル再重み付けによりディープニューラルネットワークの性能を向上させる新しい最適化手法である。 本稿では,教師付き学習,メタラーニング,ドメイン外一般化など,様々な学習課題におけるRGDの有効性を示す。
  論文  参考訳（メタデータ） (2023-06-15T15:58:04Z)
• A Meta-Learning Approach to Predicting Performance and Data Requirements [163.4412093478316]
  本稿では,モデルが目標性能に達するために必要なサンプル数を推定する手法を提案する。 モデル性能を推定するデファクト原理であるパワー法則が,小さなデータセットを使用する場合の誤差が大きいことが判明した。 本稿では,2つのデータを異なる方法で処理するPPL法について紹介する。
  論文  参考訳（メタデータ） (2023-03-02T21:48:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。