Fugu-MT 論文翻訳(概要): Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

論文の概要: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

arxiv url: http://arxiv.org/abs/2406.13808v2
Date: Fri, 21 Jun 2024 02:25:57 GMT
ステータス: 処理完了
システム内更新日: 2024-06-24 12:24:18.771169
Title: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?
Title（参考訳）: LLMの低ランク知識蒸留はマイクロ電子共鳴に有効か?
Authors: Nirjhor Rouf, Fin Amin, Paul D. Franzon,
Abstract要約: 電子設計自動化(EDA)におけるオフライン大規模言語モデル(LLM)の実現可能性に関する実証的な結果を示す。目標は、マイクロエレクトロニクスQ&Aエキスパートとして機能する現代言語モデルの能力(Llama-2-7B)を調査し評価することである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this work, we present empirical results regarding the feasibility of using offline large language models (LLMs) in the context of electronic design automation (EDA). The goal is to investigate and evaluate a contemporary language model's (Llama-2-7B) ability to function as a microelectronic Q & A expert as well as its reasoning, and generation capabilities in solving microelectronic-related problems. Llama-2-7B was tested across a variety of adaptation methods, including introducing a novel low-rank knowledge distillation (LoRA-KD) scheme. Our experiments produce both qualitative and quantitative results.
Abstract（参考訳）: 本研究では、電子設計自動化(EDA)の文脈において、オフラインの大規模言語モデル(LLM)の使用の可能性に関する実証的な結果を示す。本研究の目的は,マイクロエレクトロニックQ&Aエキスパートとして機能する現代言語モデル(Llama-2-7B)の機能とその推論,およびマイクロエレクトロニック関連問題を解くための生成能力について検討・評価することである。 Llama-2-7Bは、新しいローランク知識蒸留法(LoRA-KD)の導入など、様々な適応法で試験された。我々の実験は質的かつ定量的な結果をもたらす。

関連論文リスト

Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文参考訳（メタデータ） (2024-05-01T16:13:54Z)
ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。 LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-20T15:47:59Z)
LLM4EDA: Emerging Progress in Large Language Models for Electronic Design Automation [74.7163199054881]
大規模言語モデル(LLM)は、文脈理解、論理推論、回答生成においてその能力を実証している。本稿では,EDA分野におけるLLMの応用に関する系統的研究を行う。論理合成,物理設計,マルチモーダル特徴抽出,回路のアライメントにLLMを適用することに焦点を当て,今後の研究の方向性を強調した。
論文参考訳（メタデータ） (2023-12-28T15:09:14Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文参考訳（メタデータ） (2023-07-16T15:11:01Z)
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2023-05-28T13:00:00Z)
From Words to Wires: Generating Functioning Electronic Devices from Natural Language Descriptions [1.3747771628689167]
現代言語モデルは、コード生成に類似した高レベルのテキスト記述から電子回路設計の能力を有することを示す。電気部品のモデル知識を評価するPins100と、Arduinoエコシステムにおける一般的なマイクロコントローラ回路とコードの設計能力を評価するMicro25の2つのベンチマークを紹介する。本研究は,放射線駆動型乱数生成器,絵文字キーボード,可視分光計,いくつかの補助装置など,中程度の複雑なデバイスの設計アシスタントとして言語モデルを使用する6つのケーススタディを含む。
論文参考訳（メタデータ） (2023-05-24T08:28:59Z)
Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
論文参考訳（メタデータ） (2023-05-06T09:02:10Z)
Learning Electron Bunch Distribution along a FEL Beamline by Normalising Flows [48.236222741059834]
FELビームラインにおける電子雲の条件相空間表現のための正規化フローに基づく代理モデルを提案する。得られた結果から、ビームライン内の基本的なプロセスをより深く理解するために、モデルのエクスプロイラビリティのさらなるメリットと制限について議論できる。
論文参考訳（メタデータ） (2023-02-27T15:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。