論文の概要: Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design

• arxiv url: http://arxiv.org/abs/2203.15913v1
• Date: Tue, 29 Mar 2022 21:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 13:49:18.959129
• Title: Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design
• Title（参考訳）: 少数ショットアナログ回路モデリングと設計のための事前学習グラフニューラルネットワーク
• Authors: Kourosh Hakhamaneshi, Marcel Nassar, Mariano Phielipp, Pieter Abbeel, Vladimir Stojanovi\'c
• Abstract要約: 本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
• 参考スコア（独自算出の注目度）: 68.1682448368636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Being able to predict the performance of circuits without running expensive simulations is a desired capability that can catalyze automated design. In this paper, we present a supervised pretraining approach to learn circuit representations that can be adapted to new circuit topologies or unseen prediction tasks. We hypothesize that if we train a neural network (NN) that can predict the output DC voltages of a wide range of circuit instances it will be forced to learn generalizable knowledge about the role of each circuit element and how they interact with each other. The dataset for this supervised learning objective can be easily collected at scale since the required DC simulation to get ground truth labels is relatively cheap. This representation would then be helpful for few-shot generalization to unseen circuit metrics that require more time consuming simulations for obtaining the ground-truth labels. To cope with the variable topological structure of different circuits we describe each circuit as a graph and use graph neural networks (GNNs) to learn node embeddings. We show that pretraining GNNs on prediction of output node voltages can encourage learning representations that can be adapted to new unseen topologies or prediction of new circuit level properties with up to 10x more sample efficiency compared to a randomly initialized model. We further show that we can improve sample efficiency of prior SoTA model-based optimization methods by 2x (almost as good as using an oracle model) via fintuning pretrained GNNs as the feature extractor of the learned models.
• Abstract（参考訳）: 高価なシミュレーションを実行せずに回路の性能を予測できることは、自動設計を触媒する望ましい能力である。 本稿では,新しい回路トポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 幅広い回路インスタンスの出力直流電圧を予測できるニューラルネットワーク(NN)をトレーニングすると、各回路要素の役割とそれらがどのように相互作用するかについて、一般化可能な知識を学習せざるを得なくなる、という仮説を立てる。 この教師付き学習対象のデータセットは、基底真理ラベルを得るために必要なDCシミュレーションが比較的安価であるため、大規模に容易に収集できる。 この表現は、接地トラスラベルを得るのにより多くの時間を費やすシミュレーションを必要とする未確認回路メトリクスへの数秒の一般化に役立ちます。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 ノード電圧の予測に関するgnnの事前学習は、ランダム初期化モデルと比較して最大10倍のサンプル効率で新しい未知のトポロジや新しい回路レベルの特性の予測に適応できる学習表現を促進することができる。 さらに,従来のSoTAモデルに基づく最適化手法のサンプル効率を,事前学習したGNNを学習モデルの特徴抽出器として利用することにより,2倍に向上できることを示す。

関連論文リスト

• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [42.69799418639716]
  深層学習モデルは、共役勾配 (CG) 法のような線形解法を反復する際の残差を予条件として用いることができる。 ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。 本研究では,線形代数学から確立したプレコンディショナーを思い出し,GNNの学習の出発点として利用する。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• CktGNN: Circuit Graph Neural Network for Electronic Design Automation [67.29634073660239]
  本稿では,回路トポロジ生成とデバイスサイズを同時に行う回路グラフニューラルネットワーク(CktGNN)を提案する。 オープンサーキットベンチマーク(OCB: Open Circuit Benchmark)は、オープンソースのデータセットで、10ドル(約10万円)の異なるオペレーショナルアンプを含む。 我々の研究は、アナログ回路のための学習ベースのオープンソース設計自動化への道を開いた。
  論文  参考訳（メタデータ） (2023-08-31T02:20:25Z)
• NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
  本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。 具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。 我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
  論文  参考訳（メタデータ） (2023-06-19T09:11:04Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Generalizable Cross-Graph Embedding for GNN-based Congestion Prediction [22.974348682859322]
  我々は,ノード機能の品質を高めるために,与えられたネットリストの埋め込みを直接学習できるフレームワークを提案する。 ネットリスト上に学習した埋め込みとGNNを組み合わせることで、予測性能を改善し、新しい回路ラインに一般化し、トレーニングの効率化を実現し、実行時に90 %以上節約できる可能性がある。
  論文  参考訳（メタデータ） (2021-11-10T20:56:29Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Inductive Graph Neural Networks for Spatiotemporal Kriging [13.666589510218738]
  ネットワーク/グラフ構造上のアンサンプリングセンサのデータを復元するインダクティブグラフニューラルネットワークモデルを開発した。 複数の実世界の時間的データセットに対する実験結果から,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-06-13T01:23:44Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。