論文の概要: PRISM: Preference-based Reward and Uncertainty-Integrated Synthesis Minimization for RTL PPA Optimization
- arxiv url: http://arxiv.org/abs/2611.11051v2
- Date: Fri, 13 Nov 2026 09:42:32 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:31:46.728283
- Title: PRISM: Preference-based Reward and Uncertainty-Integrated Synthesis Minimization for RTL PPA Optimization
- Title(参考訳): PRISM: RTL PPA最適化のための参照型リワードと不確実性付き合成最小化
- Abstract要約: PRISMは、RTL最適化のための予算対応の多目的フレームワークである。
これは、高価な商用合成ツールコールを厳しく制限しながら、電力、性能、面積を改善します。
- 参考スコア(独自算出の注目度): 6.074441719058107
- License:
- Abstract: This paper introduces a budget-aware, multi-objective framework (called PRISM) for RTL optimization that improves power, performance, and area (PPA) while sharply limiting expensive commercial synthesis tool calls. Starting from a synthesizable baseline and functional testbench, the method iterates through LLM-driven rewrite generation, fast compile/simulation equivalence filtering, low-cost proxy feature extraction, and selective commercial synthesis tool (Synopsys Design Compiler (DC)) evaluation. To prioritize which candidates deserve high-quality synthesis, we train a preference-based reward model using pairwise ranking supervision derived from commercial synthesis tool outcomes, and combine ensemble uncertainty with a diversity-aware acquisition rule to avoid early bias and redundant evaluations. A key advantage is that PRISM maintains a best-tradeoff set G of non-dominated designs throughout the run: G preserves the best solutions found so far, is fed back into generation and refinement, and enables consistent, cumulative improvements rather than repeatedly restarting from the baseline. Across RTLLM v2.0 modules, the approach consistently yields post-synthesis gains under fixed commercial synthesis tool call budgets, and ablations confirm that reward-guided selection and candidate dropping are central to sample-efficient progress. PRISM efficacy is evaluated across multiple technology nodes (7 nm, 15 nm, and 45 nm) using identical pipelines without retraining.
- Abstract(参考訳): 本稿では、高額な商用合成ツールコールを厳しく制限しつつ、電力、性能、面積(PPA)を改善したRTL最適化のための予算対応多目的フレームワーク(PRISM)を提案する。
合成可能なベースラインと機能テストベンチから始めて、LCMによる書き換え生成、高速コンパイル/シミュレーション等価フィルタリング、低コストのプロキシ特徴抽出、選択的な商用合成ツール(Synopsys Design Compiler (DC))の評価を繰り返す。
高品質な合成にふさわしい候補を優先するために、商業的な合成ツールの結果から導かれるペアレベルのランキングインスペクションを用いて選好ベースの報酬モデルを訓練し、アンサンブルの不確実性と多様性に配慮した獲得ルールを組み合わせ、早期の偏見や冗長な評価を避ける。
主要な利点は、PRISMが非支配的な設計の最良のトレードオフセットGを維持していることである: Gはこれまでに見いだされた最良のソリューションを保存し、生成と改善にフィードバックされ、ベースラインから繰り返し再起動するのではなく、一貫した累積的な改善を可能にする。
RTLLM v2.0モジュール全体では、固定された商用合成ツールコール予算の下では、一貫して合成後ゲインが得られ、報酬誘導選択と候補降下がサンプル効率の進歩の中心であることを確認した。
PRISMの有効性は、同一のパイプラインを用いて複数の技術ノード(7nm、15nm、45nm)で再トレーニングすることなく評価される。
関連論文リスト
- SynAct: A Reasoning-Acting Large Language Model Agent for Adaptive Synthesis Optimization [32.192326654149966]
適応型閉ループLCM推論剤であるSynActについて, 生合成報告を反復的に診断し, 電流回路状態に対する理由について述べる。
14の設計にわたる商用合成ツールの実験では、SynActは平均的なWASを合成から27%に削減している。
論文 参考訳(メタデータ) (2026-08-13T03:02:25Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-13T04:52:33Z) - A New Benchmark for the Appropriate Evaluation of RTL Code Optimization [11.115027718178759]
この研究は、RTL最適化における大規模言語モデル(LLM)の能力を評価するベンチマークであるRTL-OPTを導入する。
各タスクは、業界で実証された最適化パターンを反映した、一対のRTLコード、準最適バージョン、人間に最適化された参照を提供する。
さらに、RTL-OPTは自動評価フレームワークを統合し、機能的正当性を検証し、改善を定量化する。
論文 参考訳(メタデータ) (2026-01-05T03:47:26Z) - Enhancing Agentic RL with Progressive Reward Shaping and Value-based Sampling Policy Optimization [13.475938754147625]
Tool-Integrated Reasoning (TIR)で強化されたLarge Language Models (LLM)は、反復的に計画し、外部ツールを呼び、返却された情報を統合して、複雑な長期的推論タスクを解決する。
エージェント強化学習(Agentic RL)は、ツール・インタラクションの完全な軌跡よりも、そのようなモデルを最適化する。
1)バイナリ0-1検証信号のようなスパースで非インストラクティブな報酬は、中間ステップの限られたガイダンスと緩やかな収束を与える。
本稿では,PRS(Progressive Reward Shaping)とVSPO(Value-based Sampling Policy Optimization)の2つの補完手法を提案する。
論文 参考訳(メタデータ) (2025-12-08T11:59:25Z) - Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。
A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。
PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
論文 参考訳(メタデータ) (2025-05-27T03:58:50Z) - syftr: Pareto-Optimal Generative AI [40.80352098169579]
syftrはエージェントと非エージェントのRAG構成の広い領域で効率的な多目的探索を行うフレームワークである。
Syftrは、最も正確な流れの正確さを保ちながら、平均して9倍のコストで流れを見つける。
論文 参考訳(メタデータ) (2025-05-26T17:43:13Z) - Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。
$SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。
評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2024-10-22T16:04:03Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳(メタデータ) (2024-05-26T05:38:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。