論文の概要: ChipExpert: The Open-Source Integrated-Circuit-Design-Specific Large Language Model

• arxiv url: http://arxiv.org/abs/2408.00804v1
• Date: Fri, 26 Jul 2024 11:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 05:08:48.023321
• Title: ChipExpert: The Open-Source Integrated-Circuit-Design-Specific Large Language Model
• Title（参考訳）: ChipExpert: オープンソースの統合回路設計型大規模言語モデル
• Authors: Ning Xu, Zhaoyang Zhang, Lei Qi, Wensuo Wang, Chao Zhang, Zihao Ren, Huaiyuan Zhang, Xin Cheng, Yanqi Zhang, Zhichao Liu, Qingwen Wei, Shiyang Wu, Lanlan Yang, Qianfeng Lu, Yiqun Ma, Mengyao Zhao, Junbo Liu, Yufan Song, Xin Geng, Jun Yang,
• Abstract要約: ChipExpertは、IC設計分野に特化して設計された、最初のオープンソースの教育用LLMである。 ChipExpertは、現在最高のオープンソースベースモデル(Llama-3 8B)の1つでトレーニングされている。 我々は,ChipExpertの幻覚を緩和するために,検索型拡張世代システムを開発した。
• 参考スコア（独自算出の注目度）: 40.91684362807029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of integrated circuit (IC) design is highly specialized, presenting significant barriers to entry and research and development challenges. Although large language models (LLMs) have achieved remarkable success in various domains, existing LLMs often fail to meet the specific needs of students, engineers, and researchers. Consequently, the potential of LLMs in the IC design domain remains largely unexplored. To address these issues, we introduce ChipExpert, the first open-source, instructional LLM specifically tailored for the IC design field. ChipExpert is trained on one of the current best open-source base model (Llama-3 8B). The entire training process encompasses several key stages, including data preparation, continue pre-training, instruction-guided supervised fine-tuning, preference alignment, and evaluation. In the data preparation stage, we construct multiple high-quality custom datasets through manual selection and data synthesis techniques. In the subsequent two stages, ChipExpert acquires a vast amount of IC design knowledge and learns how to respond to user queries professionally. ChipExpert also undergoes an alignment phase, using Direct Preference Optimization, to achieve a high standard of ethical performance. Finally, to mitigate the hallucinations of ChipExpert, we have developed a Retrieval-Augmented Generation (RAG) system, based on the IC design knowledge base. We also released the first IC design benchmark ChipICD-Bench, to evaluate the capabilities of LLMs across multiple IC design sub-domains. Through comprehensive experiments conducted on this benchmark, ChipExpert demonstrated a high level of expertise in IC design knowledge Question-and-Answer tasks.
• Abstract（参考訳）: 集積回路(IC)設計の分野は高度に専門化されており、導入・研究・開発における大きな障壁となっている。 大規模言語モデル(LLM)は様々な領域で顕著な成功を収めてきたが、既存のLLMは学生、技術者、研究者のニーズを満たしていないことが多い。 結果として、IC設計領域におけるLLMの可能性は、まだ明らかにされていない。 これらの問題に対処するため,IC 設計分野に特化して設計された,初のオープンソースの教育用 LLM である ChipExpert を紹介する。 ChipExpertは、現在最高のオープンソースベースモデル(Llama-3 8B)の1つで訓練されている。 トレーニングプロセス全体は、データ準備、継続トレーニング、指導指導による微調整、優先調整、評価など、いくつかの重要な段階を含む。 データ作成段階では、手動選択とデータ合成技術を用いて、高品質なカスタムデータセットを複数構築する。 その後の2つの段階において、ChipExpertは大量のIC設計知識を取得し、ユーザクエリにプロフェッショナルに応答する方法を学ぶ。 ChipExpertはまた、倫理的パフォーマンスの高水準を達成するために、ダイレクト・プライス・オプティマイション(Direct Preference Optimization)を使用してアライメントフェーズも実施している。 最後に,ChipExpertの幻覚を緩和するため,IC設計知識に基づく検索・拡張生成システムを開発した。 また,複数のIC設計サブドメインにまたがるLLMの性能を評価するため,最初のIC設計ベンチマークであるChipICD-Benchをリリースした。 このベンチマークで実施された総合的な実験を通じて、ChipExpertはIC設計知識に関する質問と回答のタスクにおいて高いレベルの専門知識を実証した。

関連論文リスト

• Benchmarking End-To-End Performance of AI-Based Chip Placement Algorithms [77.71341200638416]
  ChiPBenchはAIベースのチップ配置アルゴリズムの有効性を評価するために設計されたベンチマークである。 評価のために、さまざまなドメイン(CPU、GPU、マイクロコントローラなど)から20の回路を集めました。 その結果, 単点アルゴリズムの中間距離が支配的であったとしても, 最終的なPPA結果は満足できないことがわかった。
  論文  参考訳（メタデータ） (2024-07-03T03:29:23Z)
• Large Language Model Agent as a Mechanical Designer [7.136205674624813]
  本研究では,FEMモジュールと事前学習LLMを統合する新しい手法を提案する。 FEMモジュールはそれぞれの設計を評価し、重要なフィードバックを提供し、LLMにドメイン固有のトレーニングを必要とせずに継続的に学習し、計画し、生成し、設計を最適化するよう指示する。 その結果, LLMをベースとしたエージェントは, 自然言語仕様に準拠したトラスを最大90%の確率で生成できることがわかった。
  論文  参考訳（メタデータ） (2024-04-26T16:41:24Z)
• Digital ASIC Design with Ongoing LLMs: Strategies and Prospects [0.0]
  大きな言語モデル(LLM)は、ハードウェア記述言語(HDL)コードの自動生成の可能性を秘め、将来性のある開発と見なされている。 本稿では,LLMをデジタルASIC設計に活用するためのターゲット戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-25T05:16:57Z)
• LLM4EDA: Emerging Progress in Large Language Models for Electronic Design Automation [74.7163199054881]
  大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。 本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。 論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
  論文  参考訳（メタデータ） (2023-12-28T15:09:14Z)
• EDALearn: A Comprehensive RTL-to-Signoff EDA Benchmark for Democratized and Reproducible ML for EDA Research [5.093676641214663]
  我々はEDALearnを紹介した。EDALearnは、EDAの機械学習タスクに特化した、最初の包括的なオープンソースベンチマークスイートである。 このベンチマークスイートは、合成から物理実装までのエンドツーエンドのフローを示し、さまざまなステージにわたるデータ収集を強化する。 私たちの貢献はML-EDAドメインのさらなる進歩を促進することを目的としています。
  論文  参考訳（メタデータ） (2023-12-04T06:51:46Z)
• Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
  VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。 既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。 これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
  論文  参考訳（メタデータ） (2023-11-14T14:02:32Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• On Joint Learning for Solving Placement and Routing in Chip Design [70.30640973026415]
  本稿では,マクロや標準セルの配置に関するDeepPlaceによる共同学習手法を提案する。 また,DeepPRと呼ばれるマクロ配置とルーティングの両方を満たすための強化学習による共同学習手法も開発している。 本手法は,経験から効果的に学習し,数時間のトレーニングで標準細胞配置の中間配置を提供する。
  論文  参考訳（メタデータ） (2021-10-30T11:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。