Fugu-MT 論文翻訳(概要): Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

論文の概要: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

arxiv url: http://arxiv.org/abs/2406.13808v1
Date: Wed, 19 Jun 2024 20:14:39 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 18:25:37.983549
Title: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?
Title（参考訳）: LLMの低ランク知識蒸留はマイクロ電子共鳴に有効か?
Authors: Nirjhor Rouf, Fin Amin, Paul D. Franzon,
Abstract要約: 電子設計自動化(EDA)におけるオフライン大規模言語モデル(LLM)の実現可能性に関する実証的な結果を示す。目標は、マイクロエレクトロニクスQ&Aエキスパートとして機能する現代言語モデルの能力(Llama-2-7B)を調査し評価することである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this work, we present empirical results regarding the feasibility of using offline large language models (LLMs) in the context of electronic design automation (EDA). The goal is to investigate and evaluate a contemporary language model's (Llama-2-7B) ability to function as a microelectronic Q & A expert as well as its reasoning, and generation capabilities in solving microelectronic-related problems. Llama-2-7B was tested across a variety of adaptation methods, including introducing a novel low-rank knowledge distillation (LoRA-KD) scheme. Our experiments produce both qualitative and quantitative results.
Abstract（参考訳）: 本研究では、電子設計自動化(EDA)の文脈において、オフラインの大規模言語モデル(LLM)の使用の可能性に関する実証的な結果を示す。本研究の目的は,マイクロエレクトロニックQ&Aエキスパートとして機能する現代言語モデル(Llama-2-7B)の機能とその推論,およびマイクロエレクトロニック関連問題を解くための生成能力について検討・評価することである。 Llama-2-7Bは、新しいローランク知識蒸留法(LoRA-KD)の導入など、様々な適応法で試験された。我々の実験は質的かつ定量的な結果をもたらす。

関連論文リスト

Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
論文参考訳（メタデータ） (2025-01-16T16:19:53Z)
DropMicroFluidAgents (DMFAs): Autonomous Droplet Microfluidic Research Framework Through Large Language Model Agents [0.6827423171182153]
本研究では, 液滴マイクロ流体学研究におけるLarge Language Model (LLM) の有効性を示す。 LLAMA3.1モデルとDMFAの統合により、76.15%の精度が得られた。これらの能力により、教育や産業支援にまたがる応用が可能となり、科学的な発見と革新の効率が向上する。
論文参考訳（メタデータ） (2024-12-30T11:58:52Z)
Materials Learning Algorithms (MALA): Scalable Machine Learning for Electronic Structure Calculations in Large-Scale Atomistic Simulations [2.04071520659173]
本稿では,大規模原子論シミュレーションに適したスケーラブルな機械学習フレームワークであるMaterial Learning Algorithms (MALA)パッケージを提案する。 MALAモデルは、状態の局所密度、電子密度、状態の密度、総エネルギーを含む重要な電子観測物を効率的に予測する。我々は, ホウ素クラスター, 固液相境界を横切るアルミニウム, 大型ベリリウムスラブの積層断層の電子構造を予測した例でMALAの機能を示す。
論文参考訳（メタデータ） (2024-11-29T11:10:29Z)
ElectroVizQA: How well do Multi-modal LLMs perform in Electronics Visual Question Answering? [6.471546061182191]
本稿では、MLLMがデジタル電子回路問題を理解し、解決できる範囲を厳格に評価する。このベンチマークデータセットを導入することで、MLLMの工学教育への応用におけるさらなる研究と開発を動機付けることを目指している。
論文参考訳（メタデータ） (2024-11-27T20:25:07Z)
Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文参考訳（メタデータ） (2024-05-01T16:13:54Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文参考訳（メタデータ） (2023-07-16T15:11:01Z)
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2023-05-28T13:00:00Z)
Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
論文参考訳（メタデータ） (2023-05-06T09:02:10Z)
Learning Electron Bunch Distribution along a FEL Beamline by Normalising Flows [48.236222741059834]
FELビームラインにおける電子雲の条件相空間表現のための正規化フローに基づく代理モデルを提案する。得られた結果から、ビームライン内の基本的なプロセスをより深く理解するために、モデルのエクスプロイラビリティのさらなるメリットと制限について議論できる。
論文参考訳（メタデータ） (2023-02-27T15:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。