Fugu-MT 論文翻訳(概要): Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

論文の概要: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?

arxiv url: http://arxiv.org/abs/2406.13808v3
Date: Thu, 27 Jun 2024 06:37:21 GMT
ステータス: 処理完了
システム内更新日: 2024-06-28 18:37:21.590254
Title: Can Low-Rank Knowledge Distillation in LLMs be Useful for Microelectronic Reasoning?
Title（参考訳）: LLMの低ランク知識蒸留はマイクロ電子共鳴に有効か?
Authors: Nirjhor Rouf, Fin Amin, Paul D. Franzon,
Abstract要約: 電子設計自動化(EDA)におけるオフライン大規模言語モデル(LLM)の実現可能性に関する実証的な結果を示す。目標は、マイクロエレクトロニクスQ&Aエキスパートとして機能する現代言語モデルの能力(Llama-2-7B)を調査し評価することである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this work, we present empirical results regarding the feasibility of using offline large language models (LLMs) in the context of electronic design automation (EDA). The goal is to investigate and evaluate a contemporary language model's (Llama-2-7B) ability to function as a microelectronic Q & A expert as well as its reasoning, and generation capabilities in solving microelectronic-related problems. Llama-2-7B was tested across a variety of adaptation methods, including introducing a novel low-rank knowledge distillation (LoRA-KD) scheme. Our experiments produce both qualitative and quantitative results.
Abstract（参考訳）: 本研究では、電子設計自動化(EDA)の文脈において、オフラインの大規模言語モデル(LLM)の使用の可能性に関する実証的な結果を示す。本研究の目的は,マイクロエレクトロニックQ&Aエキスパートとして機能する現代言語モデル(Llama-2-7B)の機能とその推論,およびマイクロエレクトロニック関連問題を解くための生成能力について検討・評価することである。 Llama-2-7Bは、新しいローランク知識蒸留法(LoRA-KD)の導入など、様々な適応法で試験された。我々の実験は質的かつ定量的な結果をもたらす。

関連論文リスト

LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
論文参考訳（メタデータ） (2024-07-28T06:10:47Z)
Less for More: Enhanced Feedback-aligned Mixed LLMs for Molecule Caption Generation and Fine-Grained NLI Evaluation [11.778576032848482]
この作業は、最小限またはそれ以上のトレーニングを伴わずに、推論と評価能力を改善することで、そのようなモデルを強化する。このような手法の動作と適合性に関する興味深い洞察を明らかにしながら、最先端のモデルを大幅に超えている。そこで本研究では,未知の化学領域で使用するために,市販の自然言語推論(NLI)モデルを利用した新しい原子レベル評価手法を提案する。
論文参考訳（メタデータ） (2024-05-22T20:40:53Z)
Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文参考訳（メタデータ） (2024-05-01T16:13:54Z)
ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。 LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-20T15:47:59Z)
From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文参考訳（メタデータ） (2023-08-23T09:45:29Z)
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
論文参考訳（メタデータ） (2023-07-16T15:11:01Z)
Knowledge-Augmented Reasoning Distillation for Small Language Models in Knowledge-Intensive Tasks [90.11273439036455]
大規模言語モデル(LLM)は知識集約推論タスクにおいて有望なパフォーマンスを示している。外部知識ベースから得られた知識を付加したLPMから理性を生成するための,小型LMを微調整する新しい手法であるKARDを提案する。我々は,KARDが知識集約型推論データセットにおいて,小さなT5モデルとGPTモデルの性能を著しく向上させることを示す。
論文参考訳（メタデータ） (2023-05-28T13:00:00Z)
Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
論文参考訳（メタデータ） (2023-05-06T09:02:10Z)
Learning Electron Bunch Distribution along a FEL Beamline by Normalising Flows [48.236222741059834]
FELビームラインにおける電子雲の条件相空間表現のための正規化フローに基づく代理モデルを提案する。得られた結果から、ビームライン内の基本的なプロセスをより深く理解するために、モデルのエクスプロイラビリティのさらなるメリットと制限について議論できる。
論文参考訳（メタデータ） (2023-02-27T15:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。