論文の概要: Circuit Transformer: End-to-end Circuit Design by Predicting the Next Gate
- arxiv url: http://arxiv.org/abs/2403.13838v1
- Date: Thu, 14 Mar 2024 03:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 07:07:37.427886
- Title: Circuit Transformer: End-to-end Circuit Design by Predicting the Next Gate
- Title(参考訳): 回路変圧器:次ゲート予測によるエンドツーエンド回路設計
- Authors: Xihan Li, Xing Li, Lei Chen, Xing Zhang, Mingxuan Yuan, Jun Wang,
- Abstract要約: 言語はシーケンシャルなシンボルを通して表現する卓越した人間の能力であり、近年の大規模言語モデル(LLM)の進歩によって計算的に習得されている。
LLMは理解と推論において前例のない能力を示した。
回路も十分に大きな「回路モデル」でマスターでき、次の論理ゲートを単に予測することで電子設計タスクを克服できるだろうか?
- 参考スコア(独自算出の注目度): 20.8279111910994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language, a prominent human ability to express through sequential symbols, has been computationally mastered by recent advances of large language models (LLMs). By predicting the next word recurrently with huge neural models, LLMs have shown unprecedented capabilities in understanding and reasoning. Circuit, as the "language" of electronic design, specifies the functionality of an electronic device by cascade connections of logic gates. Then, can circuits also be mastered by a a sufficiently large "circuit model", which can conquer electronic design tasks by simply predicting the next logic gate? In this work, we take the first step to explore such possibilities. Two primary barriers impede the straightforward application of LLMs to circuits: their complex, non-sequential structure, and the intolerance of hallucination due to strict constraints (e.g., equivalence). For the first barrier, we encode a circuit as a memory-less, depth-first traversal trajectory, which allows Transformer-based neural models to better leverage its structural information, and predict the next gate on the trajectory as a circuit model. For the second barrier, we introduce an equivalence-preserving decoding process, which ensures that every token in the generated trajectory adheres to the specified equivalence constraints. Moreover, the circuit model can also be regarded as a stochastic policy to tackle optimization-oriented circuit design tasks. Experimentally, we trained a Transformer-based model of 88M parameters, named "Circuit Transformer", which demonstrates impressive performance in end-to-end logic synthesis. With Monte-Carlo tree search, Circuit Transformer significantly improves over resyn2 while retaining strict equivalence, showcasing the potential of generative AI in conquering electronic design challenges.
- Abstract(参考訳): 言語は、シーケンシャルなシンボルを通して表現する卓越した人間の能力であり、近年の大規模言語モデル(LLM)の進歩によって計算的に習得されている。
巨大なニューラルモデルで次の単語をリカレントに予測することで、LLMは理解と推論において前例のない能力を示した。
回路は、電子設計の「言語」として、論理ゲートのカスケード接続によって電子機器の機能を指定する。
そして、回路を十分に大きな「回路モデル」でマスターして、次の論理ゲートを単に予測することで電子設計タスクを克服できるだろうか?
本研究では,このような可能性を探究する第一歩を踏み出す。
2つの主要な障壁は、LLMの回路への直接的な適用を妨げる:その複雑で連続的でない構造と、厳密な制約(例えば同値性)による幻覚の不寛容である。
最初の障壁として、回路をメモリレスで深さ優先のトラバーサル軌道としてエンコードし、トランスフォーマーベースのニューラルモデルがその構造情報をよりよく活用し、回路モデルとして軌道上の次のゲートを予測する。
2つ目の障壁として、同値保存復号法を導入し、生成された軌跡の全てのトークンが指定された同値制約に従属することを保証した。
さらに、回路モデルは最適化指向回路設計タスクに取り組むための確率的ポリシーと見なすこともできる。
実験では,888Mパラメータのトランスフォーマーモデル"Circuit Transformer"を訓練し,エンド・ツー・エンド論理合成における優れた性能を示した。
Monte-Carloのツリーサーチでは、Circuit Transformerはresyn2よりも大幅に改善され、厳密な等価性を維持しながら、電子設計の課題を克服する生成AIの可能性を示している。
関連論文リスト
- Nearest neighbor synthesis of CNOT circuits on general quantum
architectures [12.363647205992951]
本論文は、ハミルトニアンパスを用いたアーキテクチャにおけるCNOT回路の近接合成について述べる。
ハミルトニアンパスを含まない一般アーキテクチャのキー・キュービット優先写像モデルを提案する。
実験結果から,提案手法は実量子コンピューティングデバイス上でのCNOT回路の忠実度を約64.7%向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-10-01T06:30:58Z) - CktGNN: Circuit Graph Neural Network for Electronic Design Automation [67.29634073660239]
本稿では,回路トポロジ生成とデバイスサイズを同時に行う回路グラフニューラルネットワーク(CktGNN)を提案する。
オープンサーキットベンチマーク(OCB: Open Circuit Benchmark)は、オープンソースのデータセットで、10ドル(約10万円)の異なるオペレーショナルアンプを含む。
我々の研究は、アナログ回路のための学習ベースのオープンソース設計自動化への道を開いた。
論文 参考訳(メタデータ) (2023-08-31T02:20:25Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳(メタデータ) (2023-06-07T17:59:31Z) - Graph Neural Network Autoencoders for Efficient Quantum Circuit
Optimisation [69.43216268165402]
我々は、量子回路の最適化にグラフニューラルネットワーク(GNN)オートエンコーダの使い方を初めて提示する。
我々は、量子回路から有向非巡回グラフを構築し、そのグラフを符号化し、その符号化を用いてRL状態を表現する。
我々の手法は、非常に大規模なRL量子回路最適化に向けた最初の現実的な第一歩である。
論文 参考訳(メタデータ) (2023-03-06T16:51:30Z) - Resilient superconducting-element design with genetic algorithms [3.53163169498295]
超伝導量子回路は、原子エネルギースペクトルと選択規則をはしごと3レベル製造として示している。
我々のマルチループ回路は、回路パラメータのランダムなゆらぎ、すなわち最終的な欠陥の下では堅牢であることを示す。
論文 参考訳(メタデータ) (2023-02-03T16:24:35Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - Learning Bounded Context-Free-Grammar via LSTM and the
Transformer:Difference and Explanations [51.77000472945441]
Long Short-Term Memory (LSTM) と Transformer は、自然言語処理タスクに使用される2つの一般的なニューラルネットワークアーキテクチャである。
実際には、トランスフォーマーモデルの方がLSTMよりも表現力が高いことがよく見られる。
本研究では,LSTMとTransformerの実践的差異について検討し,その潜在空間分解パターンに基づく説明を提案する。
論文 参考訳(メタデータ) (2021-12-16T19:56:44Z) - Hardware-Encoding Grid States in a Non-Reciprocal Superconducting
Circuit [62.997667081978825]
本稿では、非相互デバイスと、基底空間が2倍縮退し、基底状態がGottesman-Kitaev-Preskill(GKP)符号の近似符号であるジョセフソン接合からなる回路設計について述べる。
この回路は、電荷やフラックスノイズなどの超伝導回路の一般的なノイズチャネルに対して自然に保護されており、受動的量子誤差補正に使用できることを示唆している。
論文 参考訳(メタデータ) (2020-02-18T16:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。