論文の概要: Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs

• arxiv url: http://arxiv.org/abs/2501.05891v1
• Date: Fri, 10 Jan 2025 11:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:30.063273
• Title: Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs
• Title（参考訳）: 微調整型LCMはコース固有のMCQに対してより良い回答を提供する
• Authors: Bianca Raimondi, Saverio Giallorenzo, Maurizio Gabbrielli,
• Abstract要約: 我々は,大規模言語モデル (LLM) がハードウェア制約や改良技術に関して,マルチチョイス質問 (MCQ) にどのように答えるかを検討する。 我々は,プログラム言語(PL)コースから162人の学部レベルのMCQに回答するために,汎用的な事前学習 LLM を用いて,この空間を探索する。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License:
• Abstract: In education, the capability of generating human-like text of Large Language Models (LLMs) inspired work on how they can increase the efficiency of learning and teaching. We study the affordability of these models for educators and students by investigating how LLMs answer multiple-choice questions (MCQs) with respect to hardware constraints and refinement techniques. We explore this space by using generic pre-trained LLMs (the 7B, 13B, and 70B variants of LLaMA-2) to answer 162 undergraduate-level MCQs from a course on Programming Languages (PL) -- the MCQ dataset is a contribution of this work, which we make publicly available. Specifically, we dissect how different factors, such as using readily-available material -- (parts of) the course's textbook -- for fine-tuning and quantisation (to decrease resource usage) can change the accuracy of the responses. The main takeaway is that smaller textbook-based fine-tuned models outperform generic larger ones (whose pre-training requires conspicuous resources), making the usage of LLMs for answering MCQs resource- and material-wise affordable.
• Abstract（参考訳）: 教育において、Large Language Models (LLM) の人間のようなテキストを生成する能力は、学習と教育の効率をいかに向上させるかという研究にインスピレーションを与えた。 ハードウェアの制約や改良技術に関して,LLMがMCQ(Multi-choice Question)にどう答えるかを検討した。 LLaMA-2の7B,13B,70Bの変種である)汎用的な事前学習 LLM を用いて,プログラミング言語(PL)のコースから162人の学部レベルのMCQに回答することで,この領域を探求する。 具体的には、微調整や定量化(リソース使用量の削減)のために、容易に利用できる教材(一部)を使用するなど、さまざまな要因が、応答の正確性を変化させる可能性があるかを見極める。 主な特徴は、より小さな教科書ベースの微調整モデルが一般的なより大きなモデルよりも優れており(事前学習には顕著なリソースが必要である)、MCQのリソースと物質的にも手頃な価格で答えるためにLLMを使用することである。

関連論文リスト

• Empirical Guidelines for Deploying LLMs onto Resource-constrained Edge Devices [32.61693246340064]
  資源制約のある計算環境がパーソナライズされたLLMの設計選択にどのように影響するかを検討する。 いくつかの重要な設計要因のトレードオフと、学習効率と正確性に対するそれらの相互干渉の影響を考察する。
  論文  参考訳（メタデータ） (2024-06-06T06:41:53Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• CourseGPT-zh: an Educational Large Language Model Based on Knowledge Distillation Incorporating Prompt Optimization [22.080563239179618]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて驚くべき機能を示している。 我々は、カスタマイズと低コストな展開をサポートするコース指向LLMであるCourseGPT-zhを提案する。
  論文  参考訳（メタデータ） (2024-05-08T03:11:12Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• LLMs May Perform MCQA by Selecting the Least Incorrect Option [29.202758753639078]
  大規模言語モデル(LLM)は、様々なタスクにわたるパフォーマンスを著しく向上させた。 LLMを評価するためのベンチマークとして、MCQA(Multiple Choice Question Answering)が採用され、大きな注目を集めている。 しかし、この評価手法の堅牢性に関する懸念は続いている。
  論文  参考訳（メタデータ） (2024-02-02T12:07:00Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。