論文の概要: Faster, Cheaper, More Accurate: Specialised Knowledge Tracing Models Outperform LLMs

• arxiv url: http://arxiv.org/abs/2603.02830v1
• Date: Tue, 03 Mar 2026 10:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 21:38:10.74976
• Title: Faster, Cheaper, More Accurate: Specialised Knowledge Tracing Models Outperform LLMs
• Title（参考訳）: より速く、より正確で、より正確な知識追跡モデル
• Authors: Prarthana Bhattacharyya, Joshua Mitton, Ralph Abboud, Simon Woodhead,
• Abstract要約: 知識追跡(KT)モデルは、学生の質問応答データに基づいて訓練された、小さく、ドメイン固有の時間モデルである。 KTモデルは、この領域固有のタスクにおいて、精度とF1スコアに関して、LLM(Large Language Models)よりも優れていることを示す。 このことは、教育予測タスクにおけるドメイン固有モデルの重要性を強調している。
• 参考スコア（独自算出の注目度）: 3.8834950760134657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting future student responses to questions is particularly valuable for educational learning platforms where it enables effective interventions. One of the key approaches to do this has been through the use of knowledge tracing (KT) models. These are small, domain-specific, temporal models trained on student question-response data. KT models are optimised for high accuracy on specific educational domains and have fast inference and scalable deployments. The rise of Large Language Models (LLMs) motivates us to ask the following questions: (1) How well can LLMs perform at predicting students' future responses to questions? (2) Are LLMs scalable for this domain? (3) How do LLMs compare to KT models on this domain-specific task? In this paper, we compare multiple LLMs and KT models across predictive performance, deployment cost, and inference speed to answer the above questions. We show that KT models outperform LLMs with respect to accuracy and F1 scores on this domain-specific task. Further, we demonstrate that LLMs are orders of magnitude slower than KT models and cost orders of magnitude more to deploy. This highlights the importance of domain-specific models for education prediction tasks and the fact that current closed source LLMs should not be used as a universal solution for all tasks.
• Abstract（参考訳）: 質問に対する将来の学生の反応を予測することは、効果的な介入を可能にする教育学習プラットフォームにとって特に有用である。 これを行うための重要なアプローチの1つは、知識追跡(KT)モデルを使用することである。 これらは、学生の質問応答データに基づいて訓練された、小さな、ドメイン固有の時間モデルである。 KTモデルは特定の教育領域で高い精度で最適化され、高速な推論と拡張性を持つ。 LLM(Large Language Models)の台頭は,(1)LLMが学生の今後の質問に対する反応を予測するのにどの程度効果があるのか? (2) LLMは、この領域でスケーラブルか? (3)LLMは、この領域固有のタスクにおいて、KTモデルとどのように比較されるか? 本稿では,複数のLLMモデルとKTモデルを比較し,予測性能,デプロイメントコスト,推論速度を比較し,上記の質問に答える。 KTモデルは、この領域固有のタスクにおいて、精度とF1スコアに対してLLMよりも優れていることを示す。 さらに,LLMはKTモデルよりも桁違いに遅く,デプロイコストも桁違いに高いことを示した。 このことは、教育予測タスクにおけるドメイン固有モデルの重要性と、現在のクローズドソース LLM が全てのタスクに対する普遍的なソリューションとして使われるべきではないという事実を強調している。

関連論文リスト

• Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
  大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。 クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。 公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。 データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
  論文  参考訳（メタデータ） (2025-11-10T02:26:14Z)
• Does Model Size Matter? A Comparison of Small and Large Language Models for Requirements Classification [4.681300232651754]
  大規模言語モデル(LLM)は、要求工学(RE)のための自然言語処理(NLP)タスクにおいて顕著な結果を示す。 対照的に、小さな言語モデル(SLM)は軽量でローカルにデプロイ可能な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-24T13:20:30Z)
• Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings [27.08405655200845]
  大規模言語モデル(LLM)は、科学、歴史、地理など様々な分野の知識を取得する。 これらの手法は、特定の事実に関する LLM の知識を調査するために、基礎となるモデルを前方通過する必要がある。 LLMのプロキシとしてテキストやグラフとして事実知識を効果的にエンコードする埋め込みモデルを提案する。
  論文  参考訳（メタデータ） (2025-08-08T05:32:31Z)
• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• Small or Large? Zero-Shot or Finetuned? Guiding Language Model Choice for Specialized Applications in Healthcare [0.6880206021209538]
  ファインタニングは、ゼロショット結果と比較して、すべてのシナリオでSLMのパフォーマンスを著しく改善した。 ドメイン依存のSLMは、特に難しいタスクにおいて、微調整後の一般的なSLMよりもパフォーマンスが良くなった。 さらなるドメイン固有の事前訓練は、より簡単なタスクでは控えめなゲインを得たが、複雑なデータスカースタスクでは大幅に改善された。
  論文  参考訳（メタデータ） (2025-04-29T21:50:06Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。