Fugu-MT 論文翻訳(概要): Design Space Exploration of Reinforcement Learning Configurations for Post-Legalization Placement

論文の概要: Design Space Exploration of Reinforcement Learning Configurations for Post-Legalization Placement

arxiv url: http://arxiv.org/abs/2610.20224v1
Date: Wed, 14 Oct 2026 14:06:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:16.180187
Title: Design Space Exploration of Reinforcement Learning Configurations for Post-Legalization Placement
Title（参考訳）: ポストレガライゼーションのための強化学習構成の設計空間探索
Abstract要約: 本稿では,3つのISPD2015ベンチマークを用いて,GNN-Proximal Policy Optimizationフレームワークの設計空間を体系的に探索する。我々は、報酬関数、GNNアーキテクチャ、アクション空間、候補セットサイズ、トレーニング戦略を含む18の構成を評価する。
参考スコア（独自算出の注目度）: 3.212545466480206
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph Neural Networks (GNNs) and Reinforcement Learning (RL) have recently been explored for VLSI placement optimization, but their effectiveness for post-legalization placement refinement remains unclear. This paper presents a systematic design space exploration of a GNN-Proximal Policy Optimization (GNN-PPO) framework across three ISPD2015 benchmarks. We evaluate 18 configurations covering reward functions, GNN architectures, action spaces, candidate-set sizes, and training strategies. We analyse the results we obtain to identify pitfalls and to assess the prospects and opportunities of the RL methods for post-legalization placement. On top of that we propose a design classification approach to guide the design decisions of RL models.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)と強化学習(RL)は、最近VLSI配置最適化のために研究されているが、法制化後の配置改善におけるその有効性は未定である。本稿では,3つのISPD2015ベンチマークを用いて,GNN-Proximal Policy Optimization (GNN-PPO) フレームワークの設計空間を体系的に探索する。我々は、報酬関数、GNNアーキテクチャ、アクション空間、候補セットサイズ、トレーニング戦略を含む18の構成を評価する。得られた結果を分析して、落とし穴を特定し、法制化後配置におけるRL法の可能性と可能性を評価する。その上で,RLモデルの設計決定を導くための設計分類手法を提案する。

関連論文リスト

GPlaceRL: An Open-Source Graph Reinforcement Learning Framework for Detailed Placement [3.212545466480206]
本稿では,オープンソースのグラフ強化学習フレームワークGPlaceRLについて述べる。 GPlaceRLは、法定配置をグラフとして表現し、グラフエンコーダ、ポリシーアーキテクチャ、報酬の定式化、局所配置動作を研究するためのモジュール環境を提供する。
論文参考訳（メタデータ） (2026-10-05T15:12:36Z)
Nudging Beyond the Comfort Zone: Efficient Strategy-Guided Exploration for RLVR [53.27792011950384]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善するためのスケーラブルなパラダイムとして登場した。我々は、RLVRにおける構造化及び多様性駆動探索のためのフレームワークであるNudgeRLを提案する。当社のアプローチでは,各ロールアウトを,軽量で戦略レベルのコンテキストに設定するストラテジーナッジを導入しています。
論文参考訳（メタデータ） (2026-05-15T08:22:59Z)
NeuroTrain: Surveying Local Learning Rules for Spiking Neural Networks with an Open Benchmarking Framework [37.09823149373976]
スパイキングニューラルネットワーク(SNN)は、生物学的インスピレーション、計算構造、ハードウェア適合性など、広く異なるトレーニングアルゴリズムの普及につながっている。本調査は,SNNトレーニングアルゴリズムの包括的分類,代理段階のバックプロパゲーション,局所的および3要素学習規則,生物学的にインスパイアされた可塑性機構,ANN-to-SNN変換パイプライン,非標準最適化戦略を網羅する。
論文参考訳（メタデータ） (2026-05-14T16:50:15Z)
Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
論文参考訳（メタデータ） (2026-04-14T17:01:36Z)
Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
論文参考訳（メタデータ） (2025-07-16T13:33:31Z)
Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment [45.45508377432791]
本稿では、人気のある選好最適化手法を統合する数学的フレームワークであるReward-Aware Preference Optimization (RPO)を紹介する。 RPOは、様々な設計選択の影響を混乱させ、体系的に研究するための構造化されたアプローチを提供する。そこで我々は,このような設計選択をクリーンかつ直接アブレーションできる新しい実験装置を提案する。
論文参考訳（メタデータ） (2025-01-31T22:39:04Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design [54.39859618450935]
メタ学習型更新ルールは,広範囲のRLタスクで良好に機能するアルゴリズムの発見を期待して,実現可能であることを示す。 Learned Policy Gradient (LPG)のようなアルゴリズムによる印象的な初期結果にもかかわらず、これらのアルゴリズムが目に見えない環境に適用される場合、まだギャップが残っている。本研究では,メタ教師付き学習分布の特性が,これらのアルゴリズムの性能に与える影響について検討する。
論文参考訳（メタデータ） (2023-10-04T12:52:56Z)
PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文参考訳（メタデータ） (2023-08-03T18:03:44Z)
Subequivariant Graph Reinforcement Learning in 3D Environments [34.875774768800966]
本稿では,3次元環境における変分グラフRL(Subequivariant Graph RL)という,形態に依存しないRLの新たなセットアップを提案する。具体的には、まず3D空間でより実用的で挑戦的なベンチマークを新たに導入する。拡張状態-作用空間上のポリシーを最適化するために,幾何対称性を注入することを提案する。
論文参考訳（メタデータ） (2023-05-30T11:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。