論文の概要: Hardware Phi-1.5B: A Large Language Model Encodes Hardware Domain
Specific Knowledge
- arxiv url: http://arxiv.org/abs/2402.01728v1
- Date: Sat, 27 Jan 2024 22:49:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 16:16:49.767500
- Title: Hardware Phi-1.5B: A Large Language Model Encodes Hardware Domain
Specific Knowledge
- Title(参考訳): ハードウェアphi-1.5b: ハードウェアドメイン固有の知識をエンコードする大規模言語モデル
- Authors: Weimin Fu, Shijie Li, Yifang Zhao, Haocheng Ma, Raj Dutta, Xuan Zhang,
Kaichen Yang, Yier Jin, Xiaolong Guo
- Abstract要約: 本稿では,半導体産業のハードウェア分野に特化した,革新的な大規模言語モデルであるHardware Phi 1.5Bを紹介する。
我々は,小,中,大サブセットからなる専門的,結合されたデータセットを開発し,メディアデータセットを用いた事前学習に重点を置いている。
この事前訓練されたハードウェアドメイン固有の大規模言語モデルの作成は、ハードウェア設計と検証タスクのパフォーマンスを向上する上で、大きな進歩を見せている。
- 参考スコア(独自算出の注目度): 13.381963988168755
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In the rapidly evolving semiconductor industry, where research, design,
verification, and manufacturing are intricately linked, the potential of Large
Language Models to revolutionize hardware design and security verification is
immense. The primary challenge, however, lies in the complexity of hardware
specific issues that are not adequately addressed by the natural language or
software code knowledge typically acquired during the pretraining stage.
Additionally, the scarcity of datasets specific to the hardware domain poses a
significant hurdle in developing a foundational model. Addressing these
challenges, this paper introduces Hardware Phi 1.5B, an innovative large
language model specifically tailored for the hardware domain of the
semiconductor industry. We have developed a specialized, tiered dataset
comprising small, medium, and large subsets and focused our efforts on
pretraining using the medium dataset. This approach harnesses the compact yet
efficient architecture of the Phi 1.5B model. The creation of this first
pretrained, hardware domain specific large language model marks a significant
advancement, offering improved performance in hardware design and verification
tasks and illustrating a promising path forward for AI applications in the
semiconductor sector.
- Abstract(参考訳): 研究開発、設計、検証、製造が複雑に結びついている急速に発展する半導体産業では、ハードウェア設計とセキュリティ検証に革命を起こす大きな言語モデルの可能性は非常に大きい。
しかし、最大の課題は、訓練前の段階で一般的に取得される自然言語やソフトウェアコード知識によって適切に対処されないハードウェア固有の問題の複雑さにある。
さらに、ハードウェアドメイン固有のデータセットの不足は、基礎モデルを開発する上で大きなハードルとなる。
本稿では,半導体産業のハードウェア分野に特化した革新的な大規模言語モデルであるハードウェアphi 1.5bを紹介する。
我々は,小,中,大サブセットからなる専門的,結合されたデータセットを開発し,メディアデータセットを用いた事前学習に重点を置いている。
このアプローチはPhi 1.5Bモデルのコンパクトだが効率的なアーキテクチャを利用する。
この最初の事前学習されたハードウェアドメイン特化大型言語モデルの作成は、ハードウェア設計と検証タスクのパフォーマンス向上と、半導体分野におけるaiアプリケーションへの有望な進路を示す、大きな進歩を示している。
関連論文リスト
- From English to ASIC: Hardware Implementation with Large Language Model [0.210674772139335]
本稿では,最先端の自然言語モデルの微調整とHDLコードデータセットの再シャッフルについて述べる。
この微調整は、正確で効率的なASIC設計を生成するモデルの習熟度を高めることを目的としている。
データセットのリシャッフルは、トレーニング材料の範囲を広げ、品質を向上させることを意図している。
論文 参考訳(メタデータ) (2024-03-11T09:57:16Z) - Using the Abstract Computer Architecture Description Language to Model
AI Hardware Accelerators [77.89070422157178]
AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。
抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。
本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
論文 参考訳(メタデータ) (2024-01-30T19:27:16Z) - LLM4SecHW: Leveraging Domain Specific Large Language Model for Hardware
Debugging [4.297043877989406]
本稿では,ドメイン固有大言語モデル(LLM)を利用したハードウェアデバッグのための新しいフレームワークを提案する。
我々は、オープンソースのハードウェア設計欠陥のデータセットとその修正手順をコンパイルするためのユニークなアプローチを提案する。
LLM4SecHWは、このデータセットに基づいて中規模のLCMを微調整し、ハードウェア設計におけるバグの特定と修正を可能にする。
論文 参考訳(メタデータ) (2024-01-28T19:45:25Z) - Zero-Shot RTL Code Generation with Attention Sink Augmented Large
Language Models [0.0]
本稿では,大規模言語モデルを利用したハードウェア設計におけるコード生成プロセスの合理化の可能性について論じる。
RTLコード生成で大きな言語モデルを使用する能力は、設計サイクルを高速化するだけでなく、設計空間の探索を促進する。
論文 参考訳(メタデータ) (2024-01-12T17:41:38Z) - LLM4EDA: Emerging Progress in Large Language Models for Electronic
Design Automation [74.7163199054881]
大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。
本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。
論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
論文 参考訳(メタデータ) (2023-12-28T15:09:14Z) - Embedded Software Development with Digital Twins: Specific Requirements
for Small and Medium-Sized Enterprises [55.57032418885258]
デジタル双生児は、コスト効率の良いソフトウェア開発とメンテナンス戦略の可能性を秘めている。
私たちは中小企業に現在の開発プロセスについてインタビューした。
最初の結果は、リアルタイムの要求が、これまでは、Software-in-the-Loop開発アプローチを妨げていることを示している。
論文 参考訳(メタデータ) (2023-09-17T08:56:36Z) - Assessing the Quality of Computational Notebooks for a Frictionless
Transition from Exploration to Production [1.332560004325655]
データサイエンティストは、機械学習プロジェクトの爆発的なフェーズから生産フェーズに移行する必要があります。
これら2つのフェーズのギャップを狭めるために、データサイエンティストが採用するツールとプラクティスは、統合されたソフトウェアエンジニアリングソリューションを統合することで改善される可能性がある。
本研究プロジェクトでは,計算ノートと協調する上でのベストプラクティスについて検討し,ガイドライン遵守を促進するための概念実証ツールを提案する。
論文 参考訳(メタデータ) (2022-05-24T10:13:38Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳(メタデータ) (2021-11-10T17:58:18Z) - ISyNet: Convolutional Neural Networks design for AI accelerator [0.0]
現在の最先端アーキテクチャは、モデル複雑さを考慮して、ニューラルアーキテクチャサーチ(NAS)によって発見されている。
本稿では,ニューラルネットワーク探索空間のハードウェア効率の指標として,行列効率測定(MEM),ハードウェア効率の高い演算からなる探索空間,レイテンシを考慮したスケーリング手法を提案する。
我々は、ImageNet上のNPUデバイスの設計アーキテクチャと、下流の分類および検出タスクの一般化能力の利点を示す。
論文 参考訳(メタデータ) (2021-09-04T20:57:05Z) - Machine Learning for Massive Industrial Internet of Things [69.52379407906017]
モノのインターネット(IIoT)は、モノのインターネット技術を産業環境に統合することで、将来の製造施設に革命をもたらします。
大規模なIIoTデバイスのデプロイでは、無線ネットワークがさまざまなQoS(Quality-of-Service)要件でユビキタス接続をサポートすることは困難である。
まず、一般的な非クリティカルかつクリティカルなIIoTユースケースの要件を要約します。
次に、大規模なIIoTシナリオと対応する機械学習ソリューションのユニークな特性を、その制限と潜在的な研究方向で識別します。
論文 参考訳(メタデータ) (2021-03-10T20:10:53Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳(メタデータ) (2020-06-09T21:47:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。