論文の概要: ChipExpert: The Open-Source Integrated-Circuit-Design-Specific Large Language Model

• arxiv url: http://arxiv.org/abs/2408.00804v1
• Date: Fri, 26 Jul 2024 11:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 05:08:48.023321
• Title: ChipExpert: The Open-Source Integrated-Circuit-Design-Specific Large Language Model
• Title（参考訳）: ChipExpert: オープンソースの統合回路設計型大規模言語モデル
• Authors: Ning Xu, Zhaoyang Zhang, Lei Qi, Wensuo Wang, Chao Zhang, Zihao Ren, Huaiyuan Zhang, Xin Cheng, Yanqi Zhang, Zhichao Liu, Qingwen Wei, Shiyang Wu, Lanlan Yang, Qianfeng Lu, Yiqun Ma, Mengyao Zhao, Junbo Liu, Yufan Song, Xin Geng, Jun Yang,
• Abstract要約: ChipExpertは、IC設計分野に特化して設計された、最初のオープンソースの教育用LLMである。 ChipExpertは、現在最高のオープンソースベースモデル(Llama-3 8B)の1つでトレーニングされている。 我々は,ChipExpertの幻覚を緩和するために,検索型拡張世代システムを開発した。
• 参考スコア（独自算出の注目度）: 40.91684362807029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of integrated circuit (IC) design is highly specialized, presenting significant barriers to entry and research and development challenges. Although large language models (LLMs) have achieved remarkable success in various domains, existing LLMs often fail to meet the specific needs of students, engineers, and researchers. Consequently, the potential of LLMs in the IC design domain remains largely unexplored. To address these issues, we introduce ChipExpert, the first open-source, instructional LLM specifically tailored for the IC design field. ChipExpert is trained on one of the current best open-source base model (Llama-3 8B). The entire training process encompasses several key stages, including data preparation, continue pre-training, instruction-guided supervised fine-tuning, preference alignment, and evaluation. In the data preparation stage, we construct multiple high-quality custom datasets through manual selection and data synthesis techniques. In the subsequent two stages, ChipExpert acquires a vast amount of IC design knowledge and learns how to respond to user queries professionally. ChipExpert also undergoes an alignment phase, using Direct Preference Optimization, to achieve a high standard of ethical performance. Finally, to mitigate the hallucinations of ChipExpert, we have developed a Retrieval-Augmented Generation (RAG) system, based on the IC design knowledge base. We also released the first IC design benchmark ChipICD-Bench, to evaluate the capabilities of LLMs across multiple IC design sub-domains. Through comprehensive experiments conducted on this benchmark, ChipExpert demonstrated a high level of expertise in IC design knowledge Question-and-Answer tasks.
• Abstract（参考訳）: 集積回路(IC)設計の分野は高度に専門化されており、導入・研究・開発における大きな障壁となっている。 大規模言語モデル(LLM)は様々な領域で顕著な成功を収めてきたが、既存のLLMは学生、技術者、研究者のニーズを満たしていないことが多い。 結果として、IC設計領域におけるLLMの可能性は、まだ明らかにされていない。 これらの問題に対処するため,IC 設計分野に特化して設計された,初のオープンソースの教育用 LLM である ChipExpert を紹介する。 ChipExpertは、現在最高のオープンソースベースモデル(Llama-3 8B)の1つで訓練されている。 トレーニングプロセス全体は、データ準備、継続トレーニング、指導指導による微調整、優先調整、評価など、いくつかの重要な段階を含む。 データ作成段階では、手動選択とデータ合成技術を用いて、高品質なカスタムデータセットを複数構築する。 その後の2つの段階において、ChipExpertは大量のIC設計知識を取得し、ユーザクエリにプロフェッショナルに応答する方法を学ぶ。 ChipExpertはまた、倫理的パフォーマンスの高水準を達成するために、ダイレクト・プライス・オプティマイション(Direct Preference Optimization)を使用してアライメントフェーズも実施している。 最後に,ChipExpertの幻覚を緩和するため,IC設計知識に基づく検索・拡張生成システムを開発した。 また,複数のIC設計サブドメインにまたがるLLMの性能を評価するため,最初のIC設計ベンチマークであるChipICD-Benchをリリースした。 このベンチマークで実施された総合的な実験を通じて、ChipExpertはIC設計知識に関する質問と回答のタスクにおいて高いレベルの専門知識を実証した。

関連論文リスト

• ECM: A Unified Electronic Circuit Model for Explaining the Emergence of In-Context Learning and Chain-of-Thought in Large Language Model [64.22300168242221]
  In-Context Learning (ICL) と Chain-of-Thought (CoT) は、大規模言語モデルにおいて出現する能力である。 ICLとCoTをよりよく理解するための電子回路モデル(ECM)を提案する。 ECMは, 様々なプロンプト戦略において, LLMの性能を効果的に予測し, 説明する。
  論文  参考訳（メタデータ） (2025-02-05T16:22:33Z)
• PICBench: Benchmarking LLMs for Photonic Integrated Circuits Design [11.843730779173491]
  大規模言語モデル (LLM) は、デジタルチップ設計における様々なタスクの自動化において顕著な可能性を示している。 PICBenchは,PIC設計の自動生成に特化して設計された,最初のベンチマークおよび評価フレームワークである。 私たちのベンチマークは、基本的なデバイス設計からより複雑な回路レベルの設計まで、何十という細心の注意を要するPIC設計の問題で構成されています。
  論文  参考訳（メタデータ） (2025-02-05T13:32:29Z)
• ChipAlign: Instruction Alignment in Large Language Models for Chip Design via Geodesic Interpolation [7.660954005766763]
  ChipAlign は一般的な命令整列 LLM の強みとチップ固有の LLM を組み合わせる。 ChipAlign は既存のチップ LLM の命令追従能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-12-15T04:21:24Z)
• Benchmarking End-To-End Performance of AI-Based Chip Placement Algorithms [77.71341200638416]
  ChiPBenchはAIベースのチップ配置アルゴリズムの有効性を評価するために設計されたベンチマークである。 評価のために、さまざまなドメイン(CPU、GPU、マイクロコントローラなど)から20の回路を集めました。 その結果, 単点アルゴリズムの中間距離が支配的であったとしても, 最終的なPPA結果は満足できないことがわかった。
  論文  参考訳（メタデータ） (2024-07-03T03:29:23Z)
• LLM4EDA: Emerging Progress in Large Language Models for Electronic Design Automation [74.7163199054881]
  大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。 本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。 論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
  論文  参考訳（メタデータ） (2023-12-28T15:09:14Z)
• EDALearn: A Comprehensive RTL-to-Signoff EDA Benchmark for Democratized and Reproducible ML for EDA Research [5.093676641214663]
  我々はEDALearnを紹介した。EDALearnは、EDAの機械学習タスクに特化した、最初の包括的なオープンソースベンチマークスイートである。 このベンチマークスイートは、合成から物理実装までのエンドツーエンドのフローを示し、さまざまなステージにわたるデータ収集を強化する。 私たちの貢献はML-EDAドメインのさらなる進歩を促進することを目的としています。
  論文  参考訳（メタデータ） (2023-12-04T06:51:46Z)
• Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
  VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。 既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。 これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
  論文  参考訳（メタデータ） (2023-11-14T14:02:32Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。