論文の概要: Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2610.26904v1
• Date: Fri, 16 Oct 2026 22:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.38177
• Title: Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた多目的強化学習によるパレート最適RTLコード生成
• Abstract要約: 単一回路の品質ではなく,回路全体の品質と多様性を最適化するLCMベースの回路生成学習手法を提案する。 提案手法は,(1) 提案したソリューション全体のカバレッジ改善を逐次回路生成問題に再構成する世代ベーストレーニングパイプラインと,(2) ハイパーボリュームコントリビューション(HVC)に基づく報酬関数からなる。 RTLLM v2ベンチマークによる評価は,提案手法がPPA最適化を使わずにベースライン上で相対ハイパーボリュームの+13.3ポイントを達成したことを示している。
• 参考スコア（独自算出の注目度）: 6.912370138060946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have proposed reinforcement learning with verifiable rewards (RLVR) methods that enable LLMs to generate high-quality RTL circuits from natural-language specifications. Existing approaches optimize circuit PPA (Power, Performance, Area) by aggregating multiple objectives into a single scalar reward, making it difficult to simultaneously generate diverse Pareto-optimal solutions across different trade-offs such as low power, low latency, and small area. However, in practical design, the relative importance of each objective varies depending on product requirements and design constraints; thus, obtaining a diverse and high-quality candidate set is beneficial in that designers can choose a preferred trade-off a posteriori. In this work, we are the first to propose a learning method for LLM-based circuit generation that optimizes, not the quality of a single circuit, but the quality and diversity of the entire circuit set obtained through multiple generations in the PPA objective space. The proposed method consists of (1) a generation-based training pipeline that reformulates coverage improvement of the entire Pareto solution set into a sequential circuit generation problem, and (2) a reward function based on Hypervolume Contribution (HVC) that measures how much a generated circuit contributes to the Pareto front. Evaluation on the RTLLM v2 benchmark shows that the proposed method achieves +13.3 percentage points in relative Hypervolume over a baseline without PPA optimization and +14.4 percentage points over a single-objective reinforcement learning method, while also demonstrating superiority in circuit diversity.
• Abstract（参考訳）: 近年の研究では、LLMが自然言語仕様から高品質なRTL回路を生成できる検証可能な報酬法(RLVR)による強化学習が提案されている。 既存のアプローチでは、複数の目的を単一のスカラー報酬に集約することで、回路PPA(Power, Performance, Area)を最適化し、低電力、低レイテンシ、小領域などのさまざまなトレードオフにまたがる多様なパレート最適解を同時に生成することが困難である。 しかし、実用設計においては、各目的の相対的重要性は製品要件や設計制約によって異なり、多様で高品質な候補セットを得ることは、設計者が好みのトレードオフを選択できるという点で有益である。 本研究では,1つの回路の品質ではなく,PPA対象空間における複数世代にわたる回路セット全体の品質と多様性を最適化するLCMベースの回路生成の学習手法を提案する。 提案手法は,(1)Paretoソリューション全体のカバレッジ改善を逐次回路生成問題に再構成する世代ベーストレーニングパイプラインと,(2)生成した回路がPareto前線にどの程度貢献するかを測定するHypervolume Contribution(HVC)に基づく報酬関数からなる。 RTLLM v2ベンチマークによる評価の結果,提案手法はPPA最適化のないベースラインで相対ハイパーボリュームの+13.3ポイント,単目的強化学習法で+14.4ポイントを実現し,回路多様性の優位性を示した。

関連論文リスト

• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Preference Optimization for Combinatorial Optimization Problems [54.87466279363487]
  強化学習(Reinforcement Learning, RL)は、ニューラルネットワーク最適化のための強力なツールとして登場した。 大幅な進歩にもかかわらず、既存のRLアプローチは報酬信号の減少や大規模な行動空間における非効率な探索といった課題に直面している。 統計的比較モデルを用いて定量的報酬信号を定性的選好信号に変換する新しい手法であるPreference Optimizationを提案する。
  論文  参考訳（メタデータ） (2025-05-13T16:47:00Z)
• Pareto Set Learning for Multi-Objective Reinforcement Learning [19.720934024901542]
  MORL(Multi-Objective RL)のための分解ベースフレームワークを提案する。 PSL-MORLは、ハイパーネットワークの生成能力を利用して、各分解重量に対するポリシーネットワークのパラメータを生成する。 PSL-MORL は高体積, 疎度指標において最先端の MORL 法より有意に優れていた。
  論文  参考訳（メタデータ） (2025-01-12T10:43:05Z)
• Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment [58.049113055986375]
  我々は、報酬モデルとポリシーをトレーニングするために、AIHF(Alignment with Integrated Human Feedback)と呼ばれる単一ステージアプローチを開発する。 提案した手法は、一般的なアライメントアルゴリズムに容易に還元し、活用できる、効率的なアルゴリズムの集合を認めている。 本研究では,LLMにおけるアライメント問題と,MuJoCoにおけるロボット制御問題を含む広範な実験により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T01:20:53Z)
• Multi-Objective Reinforcement Learning-based Approach for Pressurized Water Reactor Optimization [0.0]
  PEARLは、従来のポリシーに基づく多目的強化学習法とを、単一のポリシーを学習することで区別する。 ディープラーニングと進化的テクニックにインスパイアされたいくつかのバージョンが作成され、制約のない問題ドメインと制約のない問題ドメインの両方に対応している。 2つの実用的PWRコアローディングパターン最適化問題を用いて実世界の応用性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T20:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。