論文の概要: Chip Placement with Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2004.10746v1
- Date: Wed, 22 Apr 2020 17:56:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-10 17:21:46.927495
- Title: Chip Placement with Deep Reinforcement Learning
- Title（参考訳）: 深層強化学習によるチップ配置
- Authors: Azalia Mirhoseini, Anna Goldie, Mustafa Yazgan, Joe Jiang, Ebrahim
Songhori, Shen Wang, Young-Joon Lee, Eric Johnson, Omkar Pathak, Sungmin Bae,
Azade Nazi, Jiwoo Pak, Andy Tong, Kavya Srinivasa, William Hang, Emre Tuncer,
Anand Babu, Quoc V. Le, James Laudon, Richard Ho, Roger Carpenter, Jeff Dean
- Abstract要約: チップ配置に対する学習に基づくアプローチを提案する。
従来の方法とは異なり、私たちのアプローチは過去の経験から学び、時間とともに改善する能力を持っています。
6時間以内に、現代の加速器ネットリストに匹敵する超人的あるいは同等の配置を生成できる。
- 参考スコア（独自算出の注目度）: 40.952111701288125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present a learning-based approach to chip placement, one of
the most complex and time-consuming stages of the chip design process. Unlike
prior methods, our approach has the ability to learn from past experience and
improve over time. In particular, as we train over a greater number of chip
blocks, our method becomes better at rapidly generating optimized placements
for previously unseen chip blocks. To achieve these results, we pose placement
as a Reinforcement Learning (RL) problem and train an agent to place the nodes
of a chip netlist onto a chip canvas. To enable our RL policy to generalize to
unseen blocks, we ground representation learning in the supervised task of
predicting placement quality. By designing a neural architecture that can
accurately predict reward across a wide variety of netlists and their
placements, we are able to generate rich feature embeddings of the input
netlists. We then use this architecture as the encoder of our policy and value
networks to enable transfer learning. Our objective is to minimize PPA (power,
performance, and area), and we show that, in under 6 hours, our method can
generate placements that are superhuman or comparable on modern accelerator
netlists, whereas existing baselines require human experts in the loop and take
several weeks.
- Abstract（参考訳）: 本稿では,チップ設計プロセスの最も複雑で時間を要する段階であるチップ配置について,学習に基づくアプローチを提案する。
従来の方法とは異なり、私たちのアプローチは過去の経験から学び、時間とともに改善する能力を持っています。
特に、より多くのチップブロックを訓練するにつれて、これまで見つからなかったチップブロックに対して、最適化された配置を迅速に生成する方がよい。
これらの結果を達成するために,強化学習(rl)問題として配置を行い,チップネットリストのノードをチップキャンバスに配置するようにエージェントを訓練する。
そこで我々は,RLポリシーを非表示ブロックに一般化するために,配置品質を予測する教師付きタスクで表現学習を行う。
様々なネットリストとその配置をまたいで報酬を正確に予測できるニューラルアーキテクチャを設計することで、入力ネットリストの豊富な特徴埋め込みを生成することができる。
次に、このアーキテクチャをポリシーとバリューネットワークのエンコーダとして使用して、転送学習を可能にします。
我々の目標は、PPA(パワー、パフォーマンス、面積)を最小化することであり、我々の手法は6時間以内に、現代の加速器ネットリストに匹敵する超人的な配置を生成できることを示します。
関連論文リスト
- VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。
我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2024-10-02T15:49:30Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - ChiPFormer: Transferable Chip Placement via Offline Decision Transformer [35.69382855465161]
強化学習は、チップ配置における人間のパフォーマンスを向上させる。
ChiPFormerは、固定されたオフラインデータから転送可能な配置ポリシーを学ぶことができる。
ChiPFormerは、ランタイムを10倍削減しながら、配置品質を著しく向上させる。
論文 参考訳（メタデータ） (2023-06-26T14:59:56Z) - MaskPlace: Fast Chip Placement via Reinforced Visual Representation
Learning [18.75057105112443]
この作業では、MaskPlaceを使用して、有効なチップレイアウト設計を数時間以内に自動生成する。
チップ上の数百万のモジュールを包括的に記述するために、ピクセルレベルの視覚表現を学習する問題として配置を再放送する。
チップをハイパーグラフとして表現する最近の手法よりも優れています。
論文 参考訳（メタデータ） (2022-11-24T02:22:09Z) - Routing and Placement of Macros using Deep Reinforcement Learning [0.0]
我々は、チップネットリストのノードをチップキャンバスに配置するようにモデルを訓練する。
私たちは、さまざまな入力ネットリストにわたってエージェントに正確に報酬を与えるニューラルネットワークを構築したいと考えています。
論文 参考訳（メタデータ） (2022-05-19T02:40:58Z) - Towards Machine Learning for Placement and Routing in Chip Design: a
Methodological Overview [72.79089075263985]
配置とルーティングは、現代のチップ設計フローにおいて必須かつ困難な2つのタスクである。
機械学習は、そのデータ駆動性によって有望な見通しを示しており、知識や事前への依存度は低い。
論文 参考訳（メタデータ） (2022-02-28T06:28:44Z) - On Joint Learning for Solving Placement and Routing in Chip Design [70.30640973026415]
本稿では,マクロや標準セルの配置に関するDeepPlaceによる共同学習手法を提案する。
また,DeepPRと呼ばれるマクロ配置とルーティングの両方を満たすための強化学習による共同学習手法も開発している。
本手法は,経験から効果的に学習し,数時間のトレーニングで標準細胞配置の中間配置を提供する。
論文 参考訳（メタデータ） (2021-10-30T11:41:49Z) - Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。
d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。
トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文 参考訳（メタデータ） (2021-08-20T11:53:05Z) - Decaying Clipping Range in Proximal Policy Optimization [0.0]
PPO(Proximal Policy Optimization)は、強化学習で最も広く使用されているアルゴリズムの1つです。
その成功の鍵は、クリッピングメカニズムによる信頼できるポリシー更新と、ミニバッチ更新の複数のエポックである。
トレーニング全体を通して線形および指数関数的に減衰するクリッピング範囲のアプローチを提案する。
論文 参考訳（メタデータ） (2021-02-20T22:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。