論文の概要: Zero-Shot RTL Code Generation with Attention Sink Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2401.08683v1
• Date: Fri, 12 Jan 2024 17:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 09:40:43.165609
• Title: Zero-Shot RTL Code Generation with Attention Sink Augmented Large Language Models
• Title（参考訳）: 注意シンク拡張大言語モデルを用いたゼロショットRTLコード生成
• Authors: Selim Sandal, Ismail Akturk
• Abstract要約: 本稿では,大規模言語モデルを利用したハードウェア設計におけるコード生成プロセスの合理化の可能性について論じる。 RTLコード生成で大きな言語モデルを使用する能力は、設計サイクルを高速化するだけでなく、設計空間の探索を促進する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The design and optimization of hardware have traditionally been resource-intensive, demanding considerable expertise and dependence on established design automation tools. This paper discusses the possibility of exploiting large language models to streamline the code generation process in hardware design. In contrast to earlier studies, this paper aims to use large language models that accepts high-level design specifications through a single prompt to generate corresponding Register-Transfer Level (RTL) code. The ability to use large language models on RTL code generation not only expedites design iteration cycles but also facilitates the exploration of design spaces that have computational challenges for conventional techniques. Through our evaluation, we demonstrate the shortcoming of existing attention mechanisms, and present the abilities of language models to produce functional, optimized, and industry-standard compliant RTL code when a novel attention mechanism is used. These findings underscore the expanding role of large language models in shaping the future landscape of architectural exploration and automation in hardware design.
• Abstract（参考訳）: ハードウェアの設計と最適化は伝統的に資源集約的であり、確立された設計自動化ツールにかなりの専門知識と依存を必要とする。 本稿では,大規模言語モデルを利用したハードウェア設計におけるコード生成プロセスの合理化の可能性について論じる。 従来の研究とは対照的に,1つのプロンプトを通じて高レベル設計仕様を受け入れる大規模言語モデルを用いて,対応するレジスタ・トランスファーレベル(RTL)コードを生成する。 RTLコード生成で大きな言語モデルを使用する能力は、設計反復サイクルを高速化するだけでなく、従来の手法の計算上の課題を持つ設計空間の探索も促進する。 本稿では,既存の注意機構の欠点を実証し,新しい注意機構を使用する際に,機能的,最適化された,業界標準に準拠したrtlコードを生成する言語モデルの能力を示す。 これらの知見は、ハードウェア設計におけるアーキテクチャ探索と自動化の将来の展望を形成する上で、大きな言語モデルが果たす役割を浮き彫りにしている。

関連論文リスト

• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Natural language is not enough: Benchmarking multi-modal generative AI for Verilog generation [37.309663295844835]
  視覚言語入力からのVerilog合成に適したマルチモーダル生成モデルのオープンソースベンチマークを提案する。 また、オープンソースのビジュアルで自然言語のVerilogクエリ言語フレームワークについても紹介する。 本結果は,自然言語のみに基づくクエリと比較して,マルチモーダル生成のVerilogが大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-11T13:10:09Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。 ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• OMPGPT: A Generative Pre-trained Transformer Model for OpenMP [6.917568654215119]
  OMPGPTは、OpenMPプラグマ生成のための言語モデル固有の強みを巧みに活用するために設計された、新しいドメイン固有モデルである。 我々は、NLPドメインからの迅速なエンジニアリング技術を活用し、OMPGPTの有効性を高めるために設計された革新的な戦略であるChain-of-OMPを作成する。
  論文  参考訳（メタデータ） (2024-01-28T06:06:59Z)
• When Large Language Models Meet Personalization: Perspectives of Challenges and Opportunities [60.5609416496429]
  大規模言語モデルの能力は劇的に改善されている。 このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。 大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
  論文  参考訳（メタデータ） (2023-07-31T02:48:56Z)
• Opportunities for Large Language Models and Discourse in Engineering Design [0.0]
  談話はエンジニアリング設計プロセスの中核と見なされるべきであり、したがってデジタルアーティファクトで表現されるべきである、と我々は主張する。 シミュレーション,実験,トポロジ最適化,その他のプロセスステップを,機械操作可能な,談話中心の設計プロセスに統合する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-15T14:46:44Z)
• CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
  我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。 我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。 CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
  論文  参考訳（メタデータ） (2023-05-31T05:24:48Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Deep Generative Models in Engineering Design: A Review [1.933681537640272]
  本稿では,工学設計におけるDeep Generative Learningモデルのレビューと分析を行う。 最近のDGMは、構造最適化、材料設計、形状合成といった設計応用において有望な結果を示している。
  論文  参考訳（メタデータ） (2021-10-21T02:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。