論文の概要: Transformer Network-based Reinforcement Learning Method for Power Distribution Network (PDN) Optimization of High Bandwidth Memory (HBM)

• arxiv url: http://arxiv.org/abs/2203.15722v1
• Date: Tue, 29 Mar 2022 16:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:33:42.696420
• Title: Transformer Network-based Reinforcement Learning Method for Power Distribution Network (PDN) Optimization of High Bandwidth Memory (HBM)
• Title（参考訳）: 高帯域幅メモリ(hbm)の電力分配ネットワーク(pdn)最適化のためのトランスネットワークに基づく強化学習法
• Authors: Hyunwook Park, Minsu Kim, Seongguk Kim, Keunwoo Kim, Haeyeon Kim, Taein Shin, Keeyoung Son, Boogyo Sim, Subin Kim, Seungtaek Jeong, Chulsoon Hwang, and Joungho Kim
• Abstract要約: 高帯域メモリ(HBM)の電力分散ネットワーク(PDN)最適化のための変圧器ネットワークに基づく強化学習(RL)手法を提案する。 提案手法は,複数のポートで見られるPDN自己転送の低減を最大化するために,最適なデカップリングコンデンサ(デキャップ)設計を提供する。
• 参考スコア（独自算出の注目度）: 4.829921419076774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this article, for the first time, we propose a transformer network-based reinforcement learning (RL) method for power distribution network (PDN) optimization of high bandwidth memory (HBM). The proposed method can provide an optimal decoupling capacitor (decap) design to maximize the reduction of PDN self- and transfer impedance seen at multiple ports. An attention-based transformer network is implemented to directly parameterize decap optimization policy. The optimality performance is significantly improved since the attention mechanism has powerful expression to explore massive combinatorial space for decap assignments. Moreover, it can capture sequential relationships between the decap assignments. The computing time for optimization is dramatically reduced due to the reusable network on positions of probing ports and decap assignment candidates. This is because the transformer network has a context embedding process to capture meta-features including probing ports positions. In addition, the network is trained with randomly generated data sets. Therefore, without additional training, the trained network can solve new decap optimization problems. The computing time for training and data cost are critically decreased due to the scalability of the network. Thanks to its shared weight property, the network can adapt to a larger scale of problems without additional training. For verification, we compare the results with conventional genetic algorithm (GA), random search (RS), and all the previous RL-based methods. As a result, the proposed method outperforms in all the following aspects: optimality performance, computing time, and data efficiency.
• Abstract（参考訳）: 本稿では,高帯域メモリ(HBM)の電力分散ネットワーク(PDN)最適化のためのトランスフォーマネットワークに基づく強化学習(RL)手法を初めて提案する。 提案手法は,複数のポートで見られるpdn自己インピーダンスと伝達インピーダンスの低減を最大化する最適デカップリングキャパシタ(decap)設計を提供することができる。 注意に基づくトランスフォーマーネットワークを実装し、デキャップ最適化ポリシーを直接パラメータ化する。 アテンション機構はデカプセル割り当てのための膨大な組合せ空間を探索する強力な表現を持つため、最適性性能は大幅に向上する。 さらに、デキャップ割り当て間のシーケンシャルな関係をキャプチャできる。 探索ポートとデキャップ割り当て候補の位置における再利用可能なネットワークのため、最適化のための計算時間が劇的に短縮される。 これは、トランスフォーマーネットワークが、ポート位置の探索を含むメタフィーチャをキャプチャするコンテキスト埋め込みプロセスを持っているためである。 さらに、ネットワークはランダムに生成されたデータセットでトレーニングされる。 したがって、追加のトレーニングがなければ、トレーニングされたネットワークは新しいデキャップ最適化問題を解決することができる。 トレーニングとデータコストの計算時間は、ネットワークのスケーラビリティのために大幅に削減される。 共有重量特性のおかげで、ネットワークは追加のトレーニングなしでより大規模な問題に適応できる。 検証のために、従来の遺伝的アルゴリズム(GA)、ランダムサーチ(RS)、および従来のRLに基づく全ての手法と比較する。 その結果,提案手法は最適性性能,計算時間,データ効率など,すべての面で優れていた。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Pruning By Explaining Revisited: Optimizing Attribution Methods to Prune CNNs and Transformers [14.756988176469365]
  計算要求の削減と効率の向上のための効果的なアプローチは、ディープニューラルネットワークの不要なコンポーネントを創り出すことである。 これまでの研究では、eXplainable AIの分野からの帰属法が、最も関係の低いネットワークコンポーネントを数ショットで抽出し、プルークする効果的な手段であることが示された。
  論文  参考訳（メタデータ） (2024-08-22T17:35:18Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi Agent DeepRL based Joint Power and Subchannel Allocation in IAB networks [0.0]
  統合アクセスとバックハウリング(IRL)は、将来の世代におけるより高いデータレートに対する前例のない要求を満たすための、実行可能なアプローチである。 本稿では,分数ノードに付随する巨大なアクション空間の問題を,Deep Q-Learning Networkを用いて処理する方法を示す。
  論文  参考訳（メタデータ） (2023-08-31T21:30:25Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Joint User Association and Power Allocation in Heterogeneous Ultra Dense Network via Semi-Supervised Representation Learning [22.725452912879376]
  HUDN(Heterogeneous Ultra-Dense Network)は、高接続密度と超高データレートを実現する。 本稿では,統合ユーザアソシエーションと電力制御問題を解決するための新しいアイデアを提案する。 グラフニューラルネットワーク(GNN)を訓練し、半教師付き学習を用いてこの表現関数にアプローチします。
  論文  参考訳（メタデータ） (2021-03-29T06:39:51Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。