論文の概要: The Graph's Apprentice: Teaching an LLM Low Level Knowledge for Circuit Quality Estimation

• arxiv url: http://arxiv.org/abs/2411.00843v1
• Date: Wed, 30 Oct 2024 04:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:51:28.409416
• Title: The Graph's Apprentice: Teaching an LLM Low Level Knowledge for Circuit Quality Estimation
• Title（参考訳）: グラフの精度:回路品質推定のためのLLM低レベル知識を教える
• Authors: Reza Moravej, Saurabh Bodhe, Zhanguang Zhang, Didier Chetelat, Dimitrios Tsaras, Yingxue Zhang, Hui-Ling Zhen, Jianye Hao, Mingxuan Yuan,
• Abstract要約: We introduced VeriDistill, the first end-to-end machine learning model that direct process raw Verilog code to predict circuit quality-of-result metrics。 本モデルでは,LLMに基づく低レベル回路インサイトを予測器に転送する,新しい知識蒸留法を採用している。 実験では、VeriDistillは大規模なVerilogデータセット上で最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 34.37154877681809
• License:
• Abstract: Logic synthesis is a crucial phase in the circuit design process, responsible for transforming hardware description language (HDL) designs into optimized netlists. However, traditional logic synthesis methods are computationally intensive, restricting their iterative use in refining chip designs. Recent advancements in large language models (LLMs), particularly those fine-tuned on programming languages, present a promising alternative. In this paper, we introduce VeriDistill, the first end-to-end machine learning model that directly processes raw Verilog code to predict circuit quality-of-result metrics. Our model employs a novel knowledge distillation method, transferring low-level circuit insights via graphs into the predictor based on LLM. Experiments show VeriDistill outperforms state-of-the-art baselines on large-scale Verilog datasets and demonstrates robust performance when evaluated on out-of-distribution datasets.
• Abstract（参考訳）: 論理合成は回路設計プロセスにおいて重要なフェーズであり、ハードウェア記述言語(HDL)の設計を最適化されたネットリストに変換する。 しかし、従来の論理合成法は計算集約的であり、精製チップの設計における反復的な使用を制限する。 大規模言語モデル(LLM)の最近の進歩、特にプログラミング言語の微調整は、有望な代替手段である。 本稿では,回路品質の予測に生のVerilogコードを直接処理する,最初のエンドツーエンド機械学習モデルであるVeriDistillを紹介する。 本モデルでは,LLMに基づく低レベル回路インサイトを予測器に転送する,新しい知識蒸留法を採用している。 実験では、VeriDistillは大規模なVerilogデータセットで最先端のベースラインを上回り、アウト・オブ・ディストリビューションデータセットで評価した場合、ロバストなパフォーマンスを示す。

関連論文リスト

• Logic Synthesis Optimization with Predictive Self-Supervision via Causal Transformers [19.13500546022262]
  LSOformerは、自動回帰トランスフォーマーモデルと予測SSLを利用して、結果の質の軌道(QoR)を予測する新しいアプローチである。 LSOformerは、クロスアテンションモジュールを統合して、回路グラフと最適化シーケンスからの洞察をマージし、QoRメトリクスの予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-09-16T18:45:07Z)
• BetterV: Controlled Verilog Generation with Discriminative Guidance [11.162807308782751]
  本稿では,処理されたドメイン固有ランタイム上での大規模言語モデル(LLM)の微調整を行うVerilog生成フレームワークであるBetterVを提案する。 BetterV は構文的にも機能的にも Verilog を生成する機能を備えており、VerilogEval ベンチマークでは GPT-4 よりも優れている。
  論文  参考訳（メタデータ） (2024-02-03T08:00:12Z)
• Retrieval-Guided Reinforcement Learning for Boolean Circuit Minimization [23.075466444266528]
  本研究は論理合成のための学習と探索技術について徹底的に検討する。 ABC-RLは、検索プロセス中に事前学習したエージェントからのレコメンデーションを順応的に調整する、巧妙に調整された$alpha$パラメータである。 その結果, 合成回路のQoR(Quality-of-result)は, 最先端技術と比較して最大24.8%向上した。
  論文  参考訳（メタデータ） (2024-01-22T18:46:30Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• INVICTUS: Optimizing Boolean Logic Circuit Synthesis via Synergistic Learning and Search [18.558280701880136]
  最先端論理合成アルゴリズムは、多数の論理最小化を持つ。 INVICTUSは、以前に見られた設計のトレーニングデータセットに基づいて、論理最小化のシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-05-22T15:50:42Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。